Human Data Evals Lead

Reporta a: CEO

Responsable de: propuestas de datos, desarrollo de muestras, calidad y entrega de pilotos.

Ubicación: Remoto / Latam / US

EL ROL

Serás responsable de las iniciativas y propuestas de datos de Anyone AI para laboratorios de IA, desde la propuesta de datos o la respuesta a solicitudes hasta la entrega de pilotos. Serás responsable de cómo construimos las propuestas y desarrollamos los paquetes de muestras y benchmarks: paquetes de vanguardia en razonamiento, codificación, agentes y uso de herramientas, multimodales y otros, producidos en colaboración con expertos en la materia, con datos verificados por expertos, resultados de "headroom" multimodelo y control de calidad que resista el escrutinio del comprador. Eres la persona que diseña la muestra que demuestra nuestra calidad y convierte los pilotos en compromisos de producción. En un equipo pequeño, este es el centro operativo de la División de Datos Humanos.

RESPONSABILIDADES

• Propuestas y solicitudes. Estudiar benchmarks públicos y objetivos de evaluación, y convertirlos en propuestas y paquetes de muestras que demuestren capacidad y ganen el trabajo. Responder a las solicitudes de datos y pilotos de los laboratorios.

• Desarrollo de muestras y benchmarks. Diseñar y construir los paquetes de muestras, trabajando con expertos en la materia. Cada paquete cumple con el estándar de nuestro conjunto de muestras actual:
• Datos verificados por expertos, comprobables con coincidencia exacta y trayectorias de razonamiento de oro.
• Evaluación multimodelo que muestre "headroom" real y pruebas de que la tarea discrimina al modelo, no solo que es difícil.
• Estructura rigurosa de control de calidad: capas de calibración, rúbricas ponderadas por severidad, verificadores deterministas, mapas de evidencia, etc.

• Expertos en la materia. Reclutar, instruir, calibrar y revisar un grupo de expertos en codificación, agentes/uso de herramientas y STEM/razonamiento. Elevar su producción a nuestro estándar y mantenerla; ser el árbitro de lo que significan "correcto" y "dificultad de vanguardia".

• Relaciones con laboratorios. Ser un punto de contacto directo para los socios de laboratorio en Slack y llamadas, con el apoyo del CEO y el equipo en general. Mantener informados a los contactos senior de los laboratorios, identificar lo que realmente necesitan e involucrar al CEO y a los expertos en la materia cuando la conversación lo requiera.

• Entrega de pilotos. Ser responsable de los pilotos de principio a fin: alcance, SOW, personal, producción, control de calidad y entrega. Nada se envía antes de que esté listo para el laboratorio, y nada regresa rechazado como "no de nivel de vanguardia" sin que ya sepamos por qué.

EXPERIENCIA

• Haber originado propuestas de datos o benchmarks para laboratorios de IA, traducido objetivos de evaluación en tareas de muestra que demuestren capacidad y haber sido responsable del compromiso hasta la entrega.

• Profunda experiencia en evaluación y calidad: benchmarking de LLM, con fortaleza real en la evaluación de modelos de código.

• Haber construido procesos de control de calidad y estándares de artefactos que cumplieron con los requisitos empresariales o de laboratorio, y haber establecido un estándar de calidad al que se adhirió un equipo de expertos.

• Capacidad para prosperar en entornos ambiguos y de rápido movimiento donde las reglas aún se están escribiendo, y entregar bajo presión.

Calificaciones

• Más de 5 años en entrega técnica, calidad o gestión de programas, con experiencia reciente en datos de IA/ML, evaluación de modelos o benchmarking.

• Experiencia práctica en la entrega de trabajos de datos o evaluación a laboratorios de IA o equipos de ML empresariales, desde la definición del alcance hasta la entrega.

• Fluidez operativa con la forma en que se evalúan los modelos de vanguardia: benchmarks, rúbricas, tasas de aprobación, "headroom" y lo que hace que una tarea discrimine a un modelo.

• Liderazgo demostrado de personas/proveedores, haber reclutado, calibrado y mantenido a un equipo o grupo de expertos con un estándar de calidad.

• Inglés fluido. Español es un plus.