AI Testing Engineer, Amazon Bedrock

Ubicación: 100% remoto, se buscan candidatos en LATAM.

Duración del contrato: 1 año, con posibilidad de extensión.

Tarifa por hora: $20-25 por hora en USD. La tarifa final se determinará según la experiencia relevante y el encaje general para el puesto.

NTT DATA busca un Ingeniero de Testing de IA, Amazon Bedrock, para definir y ejecutar la estrategia de calidad para aplicaciones de IA Generativa y agentes de IA utilizados en escenarios de Atención al Cliente y Contact Center. Este rol evaluará los resultados de IA en escenarios determinísticos y no determinísticos utilizando automatización, análisis semántico y estadístico, revisión humana y pruebas adversarias, mientras colabora con ingenieros de IA y equipos de QA funcionales.

Responsabilidades

• Definir la estrategia de testing y evaluación para aplicaciones de IA Generativa y agentes de IA.
• Crear y mantener datasets de evaluación, datasets de referencia (golden datasets) y suites de regresión que cubran escenarios de negocio representativos.
• Diseñar casos de prueba conversacionales de un solo turno y de múltiples turnos, incluyendo retención de contexto y transiciones de flujo de trabajo.
• Evaluar los resultados de IA en cuanto a precisión, relevancia, completitud, fundamentación (groundedness), fidelidad (faithfulness), consistencia, tono, seguridad y cumplimiento.
• Construir pipelines de evaluación automatizados e integrar verificaciones de calidad de IA en procesos de CI/CD y de lanzamiento.
• Detectar regresiones introducidas por cambios en prompts, modelos, fuentes de conocimiento, estrategias de recuperación, herramientas o guardrails.
• Diseñar escenarios de prueba negativos y adversarios que cubran inyección de prompts, jailbreaks, alucinaciones, fuga de PII, respuestas inseguras y solicitudes fuera de alcance.
• Validar el comportamiento de fallback, manejo de incertidumbre, ejecución de herramientas, manejo de errores y escalamiento a agentes humanos.
• Realizar análisis de causa raíz para resultados de IA incorrectos o indeseables y colaborar con ingenieros de IA en la remediación.
• Definir umbrales de calidad medibles y criterios de aceptación de lanzamiento para las capacidades de los agentes de IA.
• Producir métricas de calidad, informes de evaluación, dashboards y análisis de tendencias para stakeholders del proyecto y del producto.
• Apoyar la preparación de UAT, triaje de defectos, monitoreo de producción y mejora continua del comportamiento de la IA.

Experiencia Requerida

• Más de 5 años de experiencia en testing de software, ingeniería de calidad o automatización de pruebas con capacidades prácticas de automatización.
• Más de 2 años de experiencia con Amazon Bedrock.
• Comprensión práctica del comportamiento de IA Generativa / LLM y los desafíos de probar sistemas no determinísticos.
• Experiencia en el diseño de escenarios de prueba para aplicaciones conversacionales, chatbots, asistentes virtuales o agentes de IA.
• Experiencia con Python y/o JavaScript / TypeScript para automatización de pruebas y procesamiento de datos.
• Experiencia probando APIs REST y servicios backend.
• Experiencia trabajando con datos de prueba estructurados en formatos como JSON y CSV.
• Comprensión de conceptos de evaluación como groundedness, faithfulness, relevancia, detección de alucinaciones, similitud semántica y evaluación humana.
• Experiencia con Git, CI/CD, pruebas de regresión automatizadas y flujos de trabajo de gestión de defectos.
• Sólidas habilidades analíticas y capacidad para investigar por qué falló un resultado de IA, en lugar de solo identificar que falló.
• Dominio profesional del inglés.

Nice-to-Have

• Experiencia con frameworks de evaluación de IA como RAGAS, DeepEval, Promptfoo, LangSmith, TruLens o herramientas equivalentes.
• Experiencia evaluando sistemas RAG, calidad de recuperación o asistentes de conocimiento empresarial.
• Experiencia con Amazon Bedrock y servicios de AWS.
• Experiencia probando Amazon Connect, Contact Center, agent-assist o aplicaciones de Atención al Cliente.

Educación y Certificaciones

• Título de Grado en Ciencias de la Computación, Inteligencia Artificial, Machine Learning, Ciencia de Datos, Ingeniería de Software o un campo técnico relacionado.

Equipo Requerido: Este rol requiere el uso de un laptop personal. Los candidatos deben sentirse cómodos con la instalación de software de seguridad de la empresa y herramientas de gestión de dispositivos en su laptop como parte del proceso de onboarding y durante la duración del compromiso.

Acerca de NTT DATA

NTT DATA es un proveedor global de servicios de TI Top 5 con más de 190.000 profesionales en más de 50 países. Combinamos experiencia en la industria con capacidades en consultoría, tecnología, IA, nube, aplicaciones, infraestructura y conectividad para ayudar a las organizaciones a innovar, optimizar y transformar. A través de la innovación responsable, ofrecemos resultados de negocio significativos, aceleramos el éxito del cliente y creamos un impacto positivo en la sociedad.

Empleador con Igualdad de Oportunidades

NTT DATA se compromete a contratar y retener una fuerza laboral diversa. Estamos orgullosos de ser un Empleador con Igualdad de Oportunidades / Acción Afirmativa, tomando decisiones sin distinción de raza, color, religión, credo, sexo, orientación sexual, identidad de género, estado civil, origen nacional, edad, condición de veterano, discapacidad o cualquier otra clase protegida. NTT DATA es un Empleador con Igualdad de Oportunidades (Hombre/Mujer/Discapacitado/Veterano) y un Contratista Federal VEVRAA.

Req ID: 1355