Machine Learning Engineer – ML Evaluation & Experiment Design

Anyone AI está reclutando Ingenieros de Machine Learning con experiencia para un proyecto especializado enfocado en revisar y evaluar desafíos de machine learning utilizados en el entrenamiento y evaluación de modelos de IA.

El trabajo implica analizar experimentos de ML, datasets, métricas y pipelines para determinar si los desafíos son técnicamente sólidos, reproducibles, de dificultad apropiada y si realmente requieren un razonamiento sólido de machine learning.

QUÉ HARÁS

Revisarás desafíos de ML que involucran

• Diseño de experimentos y selección de modelos
• Datasets pequeños y sintéticos
• Calidad de datos y preprocesamiento
• Desplazamiento de distribución y contaminación de datos
• Ruido en etiquetas y fuga de características
• Evaluación de modelos y selección de métricas
• Ajuste de hiperparámetros
• Metodología de entrenamiento/validación/prueba
• Reproducibilidad y pipelines determinísticos
• Significancia estadística de las mejoras del modelo

Una parte clave del rol es determinar si un desafío realmente recompensa un buen razonamiento de ML, en lugar de ser simplemente resoluble mediante selección de modelos por fuerza bruta o búsquedas extensas de hiperparámetros.

QUÉ BUSCAMOS

• Más de 3 años de experiencia práctica en machine learning aplicado.
• Fuerte experiencia con:
• Diseño de experimentos de ML
• Selección de modelos
• Ajuste de hiperparámetros
• Evaluación de modelos
• Preprocesamiento y validación de datos
• Fuerte comprensión de las divisiones de entrenamiento, validación y prueba.
• Capacidad para identificar:
• Fuga de datos
• Ruido en etiquetas
• Desplazamiento de distribución
• Correlaciones espurias
• Fuga de características
• Contaminación de datos
• Experiencia evaluando si las mejoras de rendimiento son estadísticamente significativas en lugar de fluctuaciones aleatorias.
• Fuerte comprensión de las métricas de evaluación de ML y cuándo son apropiadas.
• Experiencia depurando cargas de trabajo de ML en entornos CPU y GPU.
• Capacidad para analizar problemas técnicos y proporcionar feedback claro por escrito.

DESEABLE

• Experiencia creando o participando en competiciones de Kaggle, DrivenData o similares de ML.
• Experiencia diseñando datasets de benchmark o desafíos de ML.
• Antecedentes en IA centrada en datos o calidad de datasets.
• Experiencia con generación y validación de datos sintéticos.
• Familiaridad con pruebas estadísticas, intervalos de confianza y tamaños de efecto.
• Experiencia con pipelines de evaluación de ML, RLHF o evaluación de modelos de IA.
• Experiencia desarrollando currículos de ML o evaluaciones técnicas.
• Comprensión de fallos comunes de ML como:
• Aprendizaje por atajos (Shortcut learning)
• Correlaciones espurias
• Ley de Goodhart
• Paradoja de Simpson
• Manipulación de métricas (Metric gaming)

QUÉ HARÁS

• Revisar desafíos de ML y determinar si están bien diseñados y son técnicamente resolubles.
• Evaluar si los datasets contienen señales significativas y aprendibles.
• Identificar atajos o artefactos no intencionados en datasets sintéticos.
• Determinar si las tareas requieren un diagnóstico genuino del problema de ML subyacente.
• Revisar métricas de evaluación y umbrales de mejora.
• Detectar manipulación de métricas, fuga de datos y fallos de evaluación.
• Verificar la reproducibilidad en todo el pipeline completo de datos → modelo → evaluación.
• Evaluar si la dificultad del desafío está apropiadamente calibrada.
• Proporcionar recomendaciones claras para mejorar, recalibrar o excluir tareas problemáticas.

CONTRATACIÓN

Tipo de trabajo: Remoto

Modalidad

Consultoría a tiempo parcial, por proyecto

Enfoque: Machine learning aplicado, diseño de experimentos, calidad de datos y evaluación de modelos.

Este rol es ideal para ingenieros de ML que disfrutan depurando experimentos, comprendiendo por qué los modelos tienen éxito o fallan, identificando problemas en datasets y pipelines de evaluación, y diseñando experimentos rigurosos de machine learning.