Empresa de IA busca un Científico de Investigación para diseñar y desarrollar benchmarks de evaluación de modelos de lenguaje avanzados, con foco en razonamiento, codificación y multimodalidad.
Si te apasiona la IA y querés definir cómo se mide el futuro de los modelos de lenguaje, este puesto remoto es para vos. Podrás diseñar y desarrollar benchmarks de vanguardia en razonamiento, codificación y multimodalidad, siendo clave en la investigación y validación de estas tecnologías.
Descripción del puesto
Investigador Científico, Evaluaciones Anyone AI Labs — División de Datos Humanos Reporta a: CEO · Remoto / LatAm / EE. UU. El rol Serás responsable de cómo Anyone AI mide la capacidad de los modelos de frontera. Este es un rol de investigación en esencia: decides qué es una buena evaluación, diseñas los benchmarks que la prueban y defiendes la metodología bajo escrutinio de laboratorio. Construirás paquetes de evaluación de nivel frontera en razonamiento, codificación, agentes, uso de herramientas y multimodalidad, basados en verdades verificadas por expertos, validados contra múltiples modelos y con control de calidad para resistir la revisión del comprador. Responsabilidades - Investigación de evaluación. Convierte benchmarks públicos y objetivos de evaluación en diseños de evaluación originales. Aborda las preguntas difíciles: validez de constructo, discriminación, margen de mejora y contaminación. - Desarrollo de benchmarks. Construye paquetes de evaluación con expertos en la materia, cada uno con datos verificados por expertos, resultados de margen de mejora multimodelo y control de calidad riguroso (capas de calibración, rúbricas ponderadas por severidad, verificadores deterministas). - Expertos. Recluta, calibra y revisa un grupo de expertos en codificación, agentes/uso de herramientas y STEM/razonamiento. Sé el árbitro final de la corrección y la dificultad de frontera. - Relaciones con laboratorios. Sé un punto de contacto técnico para los laboratorios, con el apoyo del CEO. Comprende qué intentan medir y tradúcelo en un diseño de evaluación. - Entrega. Convierte las solicitudes de los laboratorios en paquetes de muestra exitosos, luego supervisa los pilotos de principio a fin. Nada se lanza antes de estar listo para el laboratorio. Lo que buscamos - Antecedentes de investigación en evaluación o benchmarking de ML — benchmarks publicados/abiertos, investigación de evaluación o trabajo práctico equivalente en el que los laboratorios confiaron. - Profunda experiencia en benchmarking de LLM, con una fortaleza real en la evaluación de modelos de código. - Fluidez con la forma en que se miden los modelos de frontera: rúbricas, tasas de aprobación, margen de mejora, contaminación y qué hace que una tarea discrimine a un modelo. - Capacidad probada para mantener a un equipo o grupo de expertos en un estándar riguroso. - Inglés fluido. Español es un plus.
Responsabilidades
- Investigación de evaluación de modelos de IA.
- Desarrollo de paquetes de evaluación (razonamiento, codificación, agentes, uso de herramientas, multimodalidad).
- Reclutamiento y gestión de expertos en diversas áreas.
- Relación técnica con laboratorios de IA.
- Entrega de paquetes de evaluación y gestión de pilotos.