Directo de la empresahace 1 díaUrgente
Technical AI Evaluation Analyst
Gramian Consulting Group
Remoto · Por proyecto · Semi Senior · 2+ años
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Consultora busca Analista de Evaluación de IA y QA para revisar la calidad, corrección y justicia de tareas de evaluación de IA. El rol es remoto para LATAM, con contrato por hora y 40 horas semanales.
Descripción del puesto
Gramian Consultancy es una consultora boutique especializada en servicios profesionales de TI y soluciones de talento en ingeniería. Con una sólida experiencia en ingeniería de software y liderazgo, ayudamos a las empresas a construir equipos de alto rendimiento al conectarlos con profesionales que realmente se ajustan a sus necesidades.
Acerca del rol
Buscamos un Especialista en Evaluación y Aseguramiento de Calidad de IA, orientado al detalle, para revisar la calidad, corrección y equidad de las tareas diseñadas para evaluar agentes de IA. Inspeccionarás soluciones de referencia, lógica de calificación, trazas de ejecución y entregables generados para identificar defectos en las tareas, errores de evaluación y fallos injustificados del modelo. Este rol requiere fluidez técnica, juicio analítico independiente y la capacidad de producir retroalimentación clara y basada en evidencia.
UBICACIÓN: Remoto – Latinoamérica (LATAM)
CONTRATO: Contratista por hora
COMPROMISO: 40 horas por semana
SOLAPAMIENTO
HORARIO
8 horas de solapamiento obligatorio con PST
DURACIÓN: 10 semanas
FECHA DE INICIO: Inmediatamente
Responsabilidades clave
- Validar la calidad de las tareas revisando instrucciones, materiales de origen, soluciones de referencia y criterios de evaluación para verificar su coherencia y completitud.
- Revisar trazas de ejecución de agentes de IA, llamadas a herramientas y entregables para determinar si los resultados están justificados.
- Auditar la lógica de calificación para identificar verificaciones frágiles, respuestas esperadas incorrectas, criterios de rúbrica no soportados y penalizaciones injustas por soluciones alternativas válidas.
- Investigar discrepancias entre el rendimiento del modelo, los resultados del calificador y los resultados esperados.
- Distinguir limitaciones genuinas del modelo de defectos de la tarea, errores del calificador y fallos del entorno o de las herramientas.
- Evaluar de forma independiente los hallazgos de control de calidad automatizado en lugar de aceptarlos sin verificación.
- Documentar hallazgos concisos y respaldados por evidencia, y proporcionar retroalimentación procesable y reproducible.
- Señalar la incertidumbre y verificar que las revisiones implementadas resuelvan los problemas identificados previamente.
- Se sentirá cómodo leyendo e interpretando Python, SQL, shell scripts, datos estructurados y logs de ejecución.
- Experiencia en la revisión de flujos de trabajo técnicos, comportamiento de software, salidas de datos o lógica de evaluación.
- Sólidas habilidades analíticas, incluida la capacidad de verificar cálculos y conciliar evidencia contradictoria.
- Capacidad demostrada para evaluar la corrección y completitud de los entregables técnicos.
- Sólido dominio del inglés escrito con experiencia en la provisión de retroalimentación clara, específica y reproducible.
- Alta atención al detalle al identificar inconsistencias, información faltante y defectos de evaluación.
Responsabilidades
- Validar la calidad de las tareas revisando instrucciones, materiales de referencia, soluciones de referencia y criterios de evaluación.
- Revisar trazas de ejecución de agentes de IA, llamadas a herramientas y entregables para determinar si los resultados están justificados.
- Auditar la lógica de calificación para identificar verificaciones frágiles, respuestas esperadas incorrectas, criterios de rúbrica no soportados y penalizaciones injustas.
- Investigar discrepancias entre el rendimiento del modelo, los resultados del calificador y los resultados esperados.
- Distinguir limitaciones genuinas del modelo de defectos de la tarea, errores del calificador y fallos del entorno o la herramienta.
- Evaluar de forma independiente los hallazgos de control de calidad automatizado.
- Documentar hallazgos concisos y respaldados por evidencia.
- Proporcionar feedback procesable y reproducible.
- Marcar la incertidumbre y verificar que las revisiones implementadas resuelvan problemas identificados previamente.
Habilidades
Juicio analítico independienteCapacidad de producir feedback claro y basado en evidenciaCapacidad de verificar cálculosCapacidad de conciliar evidencia conflictivaCapacidad de evaluar la corrección y completitud de entregables técnicosAlta atención al detalleCapacidad de distinguir limitaciones genuinas del modelo de defectos de la tarea, errores del calificador o fallos del entorno/herramientaOrientación al detallePensamiento analítico