Senior Software Engineer – Open Source & SWE-Bench Evaluation

Anyone AI está reclutando Ingenieros de Software con experiencia para un proyecto especializado enfocado en revisar y evaluar tareas de ingeniería de software del mundo real derivadas de repositorios de código abierto.

El trabajo implica evaluar si las tareas de codificación basadas en issues y pull requests reales de GitHub son técnicamente sólidas, reproducibles, apropiadamente probadas y representativas de los tipos de problemas que los ingenieros de software profesionales resuelven a diario.

QUÉ HARÁS

Revisarás tareas de ingeniería de software que involucran:

• Correcciones de errores y implementaciones de funcionalidades del mundo real
• Repositorios y pull requests de código abierto
• Pruebas unitarias y cobertura de pruebas
• Configuración de repositorios y gestión de dependencias
• Reproducibilidad y configuración del entorno
• Dificultad y complejidad de las tareas
• Cambios de código en múltiples archivos y entre módulos
• Retroalimentación técnica y evaluación de calidad

Determinarás si las tareas están claramente especificadas, son técnicamente resolubles, cuentan con pruebas suficientes y están libres de problemas como tests inestables (flaky tests), dependencias faltantes, requisitos ambiguos o comportamiento específico del entorno.

QUÉ BUSCAMOS

• Más de 3 años de experiencia profesional en ingeniería de software
• Sólida experiencia trabajando con bases de código grandes y multiarchivo
• Experiencia revisando pull requests, depurando problemas y manteniendo código de producción
• Fuerte comprensión de las pruebas unitarias y la cobertura de pruebas
• Capacidad para evaluar si las pruebas validan correctamente una solución sin restringir innecesariamente los enfoques de implementación
• Experiencia con gestión de dependencias, configuración de entornos y reproducibilidad
• Fuerte comprensión de Git y flujos de trabajo de desarrollo basados en GitHub
• Capacidad para analizar problemas técnicos complejos y proporcionar retroalimentación escrita clara

DESEABLE

• Contribuciones o mantenimiento de proyectos de código abierto
• Experiencia con SWE-Bench, SWE-Bench Verified o benchmarks de codificación similares
• Experiencia con proyectos importantes de código abierto en Python como Django, Flask, scikit-learn, SymPy, matplotlib, requests o pytest
• Experiencia con Docker, CI/CD, pip, conda o gestión de versiones de dependencias (dependency pinning)
• Conocimiento de fixtures de pruebas, aislamiento de pruebas o pruebas basadas en propiedades (property-based testing)
• Experiencia diseñando evaluaciones técnicas o revisando desafíos de codificación
• Experiencia con evaluación de IA/ML, curación de datos, RLHF o desarrollo de benchmarks

SERÁS RESPONSABLE DE

• Revisar tareas de codificación derivadas de issues y pull requests reales de GitHub
• Evaluar si los enunciados de los problemas y los criterios de éxito son claros y completos
• Evaluar las pruebas unitarias en cuanto a corrección, cobertura y robustez
• Identificar tests inestables, dependencias faltantes, conflictos de versiones y problemas de entorno
• Determinar si las tareas se pueden reproducir de manera confiable en diferentes entornos
• Evaluar la dificultad y complejidad real de cada tarea
• Proporcionar recomendaciones claras sobre si las tareas deben ser aceptadas, mejoradas o excluidas

CONTRATACIÓN

Tipo de trabajo: Remoto

Modalidad

Consultoría a tiempo parcial, por proyecto

Enfoque: Ingeniería de software, revisión de código de código abierto, pruebas y evaluación técnica

Este rol es ideal para ingenieros experimentados que disfrutan depurando bases de código complejas, revisando pull requests, trabajando con software de código abierto y evaluando qué hace que un problema de ingeniería de software esté bien diseñado.