Research Scientist

Investigador Científico, Evaluaciones

Anyone AI Labs — División de Datos Humanos

Reporta a: CEO · Remoto / LatAm / EE. UU.

El rol

Serás responsable de cómo Anyone AI mide la capacidad de los modelos de frontera. Este es un rol de investigación en esencia: decides qué es una buena evaluación, diseñas los benchmarks que la prueban y defiendes la metodología bajo escrutinio de laboratorio. Construirás paquetes de evaluación de nivel frontera en razonamiento, codificación, agentes, uso de herramientas y multimodalidad, basados en verdades verificadas por expertos, validados contra múltiples modelos y con control de calidad para resistir la revisión del comprador.

Responsabilidades

• Investigación de evaluación. Convierte benchmarks públicos y objetivos de evaluación en diseños de evaluación originales. Aborda las preguntas difíciles: validez de constructo, discriminación, margen de mejora y contaminación.
• Desarrollo de benchmarks. Construye paquetes de evaluación con expertos en la materia, cada uno con datos verificados por expertos, resultados de margen de mejora multimodelo y control de calidad riguroso (capas de calibración, rúbricas ponderadas por severidad, verificadores deterministas).
• Expertos. Recluta, calibra y revisa un grupo de expertos en codificación, agentes/uso de herramientas y STEM/razonamiento. Sé el árbitro final de la corrección y la dificultad de frontera.
• Relaciones con laboratorios. Sé un punto de contacto técnico para los laboratorios, con el apoyo del CEO. Comprende qué intentan medir y tradúcelo en un diseño de evaluación.
• Entrega. Convierte las solicitudes de los laboratorios en paquetes de muestra exitosos, luego supervisa los pilotos de principio a fin. Nada se lanza antes de estar listo para el laboratorio.

Lo que buscamos

• Antecedentes de investigación en evaluación o benchmarking de ML — benchmarks publicados/abiertos, investigación de evaluación o trabajo práctico equivalente en el que los laboratorios confiaron.
• Profunda experiencia en benchmarking de LLM, con una fortaleza real en la evaluación de modelos de código.
• Fluidez con la forma en que se miden los modelos de frontera: rúbricas, tasas de aprobación, margen de mejora, contaminación y qué hace que una tarea discrimine a un modelo.
• Capacidad probada para mantener a un equipo o grupo de expertos en un estándar riguroso.
• Inglés fluido. Español es un plus.