workablehace 23 horas
Ingeniero Python Senior - Evaluación de Agentes de Código IA
Mindrift
Remoto · Tiempo parcial
Senior8+ años
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Empresa busca Ingeniero Python Senior para evaluar agentes de codificación de IA en proyectos freelance. Se requiere experiencia en Python, JavaScript/TypeScript, Docker, bases de datos y testing, con un nivel de inglés B2+.
Descripción del puesto
Mindrift conecta especialistas con oportunidades de proyectos de IA para empresas líderes de tecnología, enfocados en probar, evaluar y mejorar sistemas de IA. La participación es por proyecto, no es empleo permanente. **Esta oportunidad implica:** Estamos construyendo un conjunto de datos para evaluar agentes de codificación de IA: qué tan bien un modelo maneja tareas de desarrollador del mundo real. Crearás tareas desafiantes y criterios de evaluación dentro de entornos simulados realistas: - Construir entornos de desarrollo realistas: una empresa virtual con código base, infraestructura y contexto (tickets, documentación, conversaciones) que forma un historial de desarrollo creíble. - Diseñar tareas a partir de estados intermedios de estos entornos: elaborar el prompt, definir qué significa "resuelto" y asegurar que la tarea sea resoluble por un agente de IA. - Escribir pruebas que verifiquen las soluciones del agente: aceptar todos los enfoques válidos y rechazar los incorrectos, sin ser demasiado estrictos ni demasiado laxos. - Iterar sobre tareas y pruebas basándose en comentarios de QA: revisar soluciones de agentes, analizar fallos y refinar hasta que la evaluación sea justa y robusta. **Esto NO es:** - Etiquetado de datos. - Ingeniería de prompts. - Escribir código desde cero: el agente escribe la mayor parte del código; tú guías y evalúas. **Lo que buscamos:** - Más de 8 años de experiencia en desarrollo de software. - Stack principal: Python (FastAPI), JavaScript/TypeScript (React), Docker, Postgres, Kafka, Redis. - Experiencia escribiendo pruebas (funcionales, de integración). - Dominio del inglés: B2+. **Por qué esto es difícil:** Los modelos de frontera ya son buenos codificando. Crear una tarea que realmente desafíe a los mejores modelos no es trivial. Necesitas comprender profundamente dónde fallan los modelos y qué escenarios revelan la diferencia entre una solución buena y una mala. Las tareas tienen muchas soluciones válidas: escribir pruebas que acepten todas las soluciones correctas y rechacen las incorrectas es más difícil de lo que parece. **Cómo funciona:** Aplicar → Pasar calificación(es) → Unirse a un proyecto → Completar tareas → Recibir pago. **Estimación de esfuerzo:** Las tareas para este proyecto se estiman en 30 horas para completarse, dependiendo de la complejidad. Esta es una estimación y no un requisito de horario; tú eliges cuándo y cómo trabajar. Las tareas deben enviarse antes de la fecha límite y cumplir con los criterios de aceptación listados para ser aceptadas. **Compensación:** Hasta $150/hora equivalente, dependiendo del nivel y el ritmo. Las tareas se estiman en ~30 horas cada una; tú estableces tu propio horario. Por favor, envía tu CV en inglés e indica tu nivel de dominio del idioma inglés.
Responsabilidades
- Crear tareas desafiantes para evaluar agentes de codificación de IA.
- Diseñar criterios de evaluación en entornos simulados.
- Construir entornos de desarrollo virtuales.
- Escribir pruebas para verificar soluciones de agentes.
- Iterar sobre tareas y pruebas basándose en feedback de QA.
Habilidades
TestingEvaluación de sistemas de IADiseño de tareasCriterios de evaluaciónComprensión de fallos de modelosAnálisis de fallos