Empresa busca un Ingeniero Senior de QA de Automatización con experiencia en sistemas de IA para unirse a un equipo LATAM. El rol se enfoca en construir el sistema de validación para la calidad de salida de RAG, incluyendo precisión de recuperación, corrección de citas y cumplimiento de RBAC.
Si te apasiona la IA y la automatización, este puesto remoto es para vos. Podrás construir el sistema de validación para un asistente de IA en el sector inmobiliario, trabajando en un equipo LATAM con foco en la calidad de los resultados. Ideal para quienes buscan un desafío técnico específico en RAG.
Descripción del puesto
Sobre el Proyecto Software Mind está construyendo un asistente de IA privado y aislado por tenant para la industria de títulos y liquidación de bienes raíces. La plataforma es un sistema "retrieval-first" (RAG) que ingiere correos electrónicos históricos, documentos y metadatos estructurados en un índice vectorial por tenant, y ofrece respuestas fundamentadas, citadas y con peso experto a través de una interfaz de preguntas y respuestas estilo chat con inicio de sesión único y registro de auditoría completo. La plataforma es nativa de AWS con un backend Python/FastAPI, frontend Vue.js, vector store OpenSearch/Pinecone y OpenAI/Anthropic/Bedrock como proveedor de LLM. Te unirás a un equipo senior multidisciplinario basado en LATAM, donde la experiencia práctica en entrega de IA, no solo la familiaridad, es la expectativa base. Construirás el "validation harness" que determina si el sistema de IA cumple con los estándares de precisión; este es tu entregable principal. Esto no es automatización de pruebas genérica. Necesitas entender qué significa "correcto" para un sistema de recuperación basado en RAG y diseñar frameworks de prueba que puedan detectar fallos de recuperación, citas alucidadas, deriva de la puntuación de confianza y violaciones de acceso RBAC. Responsabilidades - Diseñar e implementar el "validation harness" para la calidad de la salida RAG: precisión de recuperación, corrección de citas y fundamentación. - Construir suites de pruebas automatizadas para la "AI Extraction Gateway" en implementaciones Simple RAG y Complex RAG. - Desarrollar y ejecutar casos de prueba de rúbrica de precisión en colaboración con el BA y el Experto en la Materia designado. - Automatizar pruebas de regresión para la calibración de la puntuación de confianza y el comportamiento de ponderación de fuentes. - Probar la aplicación de RBAC y los controles de acceso a vistas filtradas específicas del rol. - Validar la completitud del registro de auditoría y la trazabilidad del ciclo de vida del documento. - Construir y mantener la suite de pruebas del pipeline de ingesta incremental. - Contribuir a los "go/no-go decision packs": producir informes de precisión y documentación de evidencia de pruebas. Tech Stack: - Python - pytest - AWS - REST API Testing - Jira - Confluence Must-Have Skills & Experience: - Más de 6 años en ingeniería de automatización de QA; se requiere alta senioridad. - Sólidas habilidades en ingeniería de automatización de pruebas. - Python preferido (pytest o framework equivalente). - Experiencia en pruebas de API y "contract testing". - Comodidad diseñando frameworks de prueba para sistemas no deterministas o probabilísticos. - Experiencia en entornos ágiles/scrum con gestión de pruebas basada en Jira. Nice-to-Have: - Experiencia previa probando sistemas RAG, salidas de LLM o relevancia de búsqueda semántica; este es un fuerte diferenciador. - Familiaridad con frameworks de evaluación de IA: RAGAS, TruLens o enfoques de evaluación basados en rúbricas personalizadas. - Antecedentes en pruebas sensibles al cumplimiento: validación de pistas de auditoría, verificación de control de acceso o entornos de datos regulados. Aceptamos postulaciones de países de LATAM.
Responsabilidades
- Diseñar e implementar el arnés de validación para la calidad de salida de RAG
- Construir suites de pruebas automatizadas para la Pasarela de Extracción de IA
- Desarrollar y ejecutar casos de prueba de rúbrica de precisión
- Automatizar pruebas de regresión para la calibración de la puntuación de confianza y el comportamiento de ponderación de fuentes
- Probar la aplicación de RBAC y los controles de acceso filtrados por rol
- Validar la completitud del registro de auditoría y la trazabilidad del ciclo de vida del documento
- Construir y mantener la suite de pruebas del pipeline de ingesta incremental
- Contribuir a los paquetes de decisión de go/no-go