Directo de la empresahace 1 día
AI Evaluation Engineer (Python, QA or Security)
Mindrift
Remoto · Tiempo parcial
Senior5+ años
Hasta USD 6.000bruto mensual
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Empresa busca un Ingeniero de Evaluación de IA con experiencia en Python y QA/Seguridad para unirse a proyectos de evaluación de sistemas de IA. El rol es por proyecto, con tareas estimadas en 20 horas y una compensación de hasta $30/hora.
Descripción del puesto
Mindrift conecta especialistas con oportunidades de proyectos de IA para empresas tecnológicas líderes, enfocadas en probar, evaluar y mejorar sistemas de IA. La participación es por proyecto, no es empleo permanente. Qué implica esta oportunidad: Estamos construyendo un dataset para evaluar agentes de codificación de IA: qué tan bien un modelo maneja tareas de desarrollador del mundo real. Crearás tareas desafiantes y criterios de evaluación dentro de entornos simulados realistas: - Construir entornos de desarrollador realistas: una empresa virtual con codebase, infraestructura y contexto (tickets, docs, conversaciones) que formen un historial de desarrollo creíble. - Diseñar tareas a partir de estados intermedios de estos entornos: elaborar el prompt, definir qué significa "resuelto" y asegurar que la tarea sea resoluble por un agente de IA. - Escribir tests que verifiquen las soluciones del agente: aceptar todos los enfoques válidos y rechazar los incorrectos, sin ser demasiado estrictos ni demasiado laxos. - Iterar sobre tareas y tests basándose en feedback de QA: revisar soluciones de agentes, analizar fallos y refinar hasta que la evaluación sea justa y robusta. Qué NO es: - No es etiquetado de datos. - No es prompt engineering. - No es escribir código desde cero: el agente escribe la mayor parte del código; vos guiás y evaluás. Qué buscamos: - Más de 5 años en desarrollo de software. - Stack principal: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis. - Experiencia escribiendo tests (funcionales, de integración). - Dominio del inglés: B2+. Por qué es difícil: Los modelos de frontera ya son buenos codificando. Crear una tarea que realmente desafíe a los mejores modelos no es trivial. Necesitás entender profundamente dónde fallan los modelos y qué escenarios revelan la diferencia entre una solución buena y una mala. Las tareas tienen muchas soluciones válidas: escribir tests que acepten todas las soluciones correctas y rechacen las incorrectas es más difícil de lo que parece. Cómo funciona: Aplicás → Pasás calificación(es) → Te unís a un proyecto → Completás tareas → Te pagan. Compensación: Hasta $30/hora equivalente, dependiendo del nivel y el ritmo. Las tareas se estiman en ~20 horas cada una; vos definís tu propio horario. Por favor, enviá tu CV en inglés e indicá tu nivel de dominio del idioma inglés.
Responsabilidades
- Crear tareas desafiantes y criterios de evaluación para agentes de codificación de IA.
- Construir entornos de desarrollo simulados realistas.
- Diseñar tareas desde estados intermedios de estos entornos.
- Escribir tests para verificar las soluciones de los agentes.
- Iterar sobre tareas y tests basándose en feedback de QA.
Habilidades
Evaluación de sistemas de IADiseño de tareas para IACriterios de evaluaciónEscritura de testsAnálisis de fallosPensamiento críticoResolución de problemas