Senior Software Engineer – Open Source & SWE-Bench Evaluation

Anyone AI está buscando ingenieros de software experimentados para un proyecto especializado enfocado en revisar y evaluar tareas reales de ingeniería de software derivadas de repositorios de código abierto.

El trabajo consiste en evaluar si las tareas de programación basadas en issues y pull requests reales de GitHub son técnicamente sólidas, reproducibles, adecuadamente testeadas y representativas de los tipos de problemas que los ingenieros de software profesionales resuelven diariamente.

LO QUE VAS A TRABAJAR

Revisarás tareas de ingeniería de software que involucran:

• Correcciones de bugs e implementaciones de características reales
• Repositorios de código abierto y pull requests
• Tests unitarios y cobertura de tests
• Configuración de repositorios y gestión de dependencias
• Reproducibilidad y configuración de entornos
• Dificultad y complejidad de las tareas
• Cambios de código en múltiples archivos y módulos cruzados
• Retroalimentación técnica y evaluación de calidad

Determinarás si las tareas están claramente especificadas, son técnicamente solucionables, cuentan con tests suficientes y no presentan problemas como tests inestables, dependencias faltantes, requisitos ambiguos o comportamiento específico de entorno.

LO QUE BUSCAMOS

• 3+ años de experiencia profesional como ingeniero de software
• Experiencia sólida trabajando con bases de código grandes y multiarchivo
• Experiencia revisando pull requests, depurando problemas y manteniendo código en producción
• Comprensión sólida de tests unitarios y cobertura de tests
• Capacidad para evaluar si los tests validan correctamente una solución sin restringir innecesariamente los enfoques de implementación
• Experiencia con gestión de dependencias, configuración de entornos y reproducibilidad
• Comprensión sólida de flujos de trabajo de desarrollo basados en Git y GitHub
• Capacidad para analizar problemas técnicos complejos y brindar retroalimentación escrita clara

BUENO TENER

• Contribuciones a o mantenimiento de proyectos de código abierto
• Experiencia con SWE-Bench, SWE-Bench Verified o benchmarks similares
• Experiencia con proyectos open-source de Python como Django, Flask, scikit-learn, SymPy, matplotlib, requests o pytest
• Experiencia con Docker, CI/CD, pip, conda o fijación de dependencias
• Conocimiento de test fixtures, aislamiento de tests o tests basados en propiedades
• Experiencia diseñando evaluaciones técnicas o revisando desafíos de programación
• Experiencia con evaluación de IA/ML, curación de datos, RLHF o desarrollo de benchmarks

LO QUE VAS A RESPONSABILIZARTE

• Revisar tareas de programación derivadas de issues y pull requests reales de GitHub
• Evaluar si las declaraciones de problema y los criterios de éxito son claros y completos
• Evaluar tests unitarios por corrección, cobertura y robustez
• Identificar tests inestables, dependencias faltantes, conflictos de versiones y problemas de entorno
• Determinar si las tareas pueden reproducirse de forma confiable en distintos entornos
• Evaluar la dificultad y complejidad real de cada tarea
• Brindar recomendaciones claras sobre si las tareas deben aceptarse, mejorarse o excluirse

COMPROMISO

Tipo de trabajo: Remoto

Compromiso: Medio tiempo, consultoría basada en proyectos

Enfoque: Ingeniería de software, revisión de código abierto, testing y evaluación técnica

Este rol es ideal para ingenieros experimentados que disfrutan depurando bases de código complejas, revisando pull requests, trabajando con software de código abierto y evaluando qué hace que un problema de ingeniería de software esté bien diseñado.