AI Software Development Engineer in Test (AI-SDET)

Estamos buscando un AI-SDET para liderar la adopción de herramientas y prácticas de testing impulsadas por IA en nuestra Guild de QA, introduciendo herramientas de IA, frameworks de evaluación e inteligencia automatizada.

Descripción del puesto

Quiénes Somos En Network Solutions, hemos sido confiables durante décadas para ayudar a las personas a conectarse en línea y mantenerse adelante. Hemos estado aquí desde el comienzo de Internet y todavía estamos construyendo para lo que viene a continuación. Como la autoridad original en identidad digital, ayudamos a asegurar nombres de dominio, proteger marcas y salvaguardar la infraestructura en la que las empresas dependen. Capacitamos a nuestros clientes para que posean y gestionen los activos que los definen en línea, al tiempo que ofrecemos seguridad de nivel empresarial para protegerlos contra amenazas virtuales. Nuestro equipo aprovecha herramientas aceleradas por inteligencia artificial (IA) modernas para agilizar cómo las empresas gestionan su presencia digital, aprovechando al máximo nuestras décadas de experiencia. El equipo de Network Solutions está aquí para ayudar a las empresas en línea a proteger lo que les pertenece y construir para el mañana. Es por eso que millones confían en nosotros para proteger sus dominios, marcas y sitios web todos los días. Network Solutions está buscando un AI-SDET para servir como agente de cambio para nuestro gremio de QA, introduciendo herramientas impulsadas por IA, marcos de evaluación y automatización inteligente que modernizan cómo trabaja nuestro equipo de ingeniería de calidad. Validará resultados de LLM, canalizaciones RAG y flujos de trabajo de agentes autónomos, al tiempo que entrena y capacita a los ingenieros de QA en prácticas de IA emergentes. El candidato ideal tiene 4-10+ años de experiencia en ingeniería, con 2-4 años centrados en IA/ML, sólidas habilidades en Python y una capacidad comprobada para impulsar cambios en procesos dentro de equipos de ingeniería. RESPONSABILIDADES CLAVE 1. Liderazgo en el cambio y habilitación del equipo Defender la adopción de herramientas y prácticas de prueba impulsadas por IA en todo el gremio de QA. Identificar brechas en los procesos actuales de QA e introducir soluciones impulsadas por IA para abordarlas, desde la generación automática de pruebas hasta marcos de autosanación. Dirigir talleres, almuerzos y sesiones de intercambio de conocimientos para capacitar a los ingenieros de QA en herramientas y metodologías de IA. Servir como experto interno en estándares de calidad de IA, herramientas emergentes y mejores prácticas. Colaborar con líderes de QA, gerentes de ingeniería y equipos de producto para incrustar prácticas de calidad de IA en el SDLC. 2. Ingeniería de calidad de IA y LLM Diseñar y mantener marcos de evaluación (Evals) que cubren la detección de alucinaciones, la base, la toxicidad, el sesgo, la regresión de indicaciones, el determinismo y la validación de salvaguardias de seguridad. Construir canalizaciones de validación automatizadas para resultados de LLM utilizando afirmaciones estructuradas, puntuación semántica y métricas basadas en incrustaciones. Validar arquitecturas RAG, incluyendo estrategias de fragmentación, calidad de incrustación, precisión de recuperación, reordenamiento y relevancia de búsqueda de vectores. Probar flujos de trabajo de orquestación de agentes múltiples, memoria de agentes y retención de contexto, e integraciones MCP (Protocolo de contexto de modelo). Crear conjuntos de datos sintéticos y de referencia para escenarios de prueba de IA. Evaluar la latencia, el uso de tokens, el costo del modelo, el rendimiento y la escalabilidad de los sistemas de IA. 3. Ingeniería de automatización Desarrollar y mantener marcos de automatización de UI y API escalables utilizando Python, Robot Framework y Playwright/Selenium/Cypress. Automatizar pruebas en APIs REST, GraphQL, sistemas impulsados por eventos, servicios de streaming, webhookos, microservicios y arquitecturas de microfrontend (MFE). Construir bibliotecas de automatización reutilizables, utilidades y flujos de trabajo de prueba asistidos por IA. Integrar automatización y puertas de calidad en canalizaciones CI/CD (GitHub Actions, Jenkins, GitLab CI/CD, Azure DevOps). 4. Validación de plataforma de IA y agente Validar agentes de IA construidos en LangChain, LangGraph, CrewAI, AutoGen, Semantic Kernel y OpenAI SDK. Trabajar con bases de datos de vectores, incluyendo Pinecone, Weaviate, ChromaDB, Qdrant y FAISS. Validar flujos de trabajo de IA que involucran llamadas de herramientas, llamadas de funciones, planificación y ejecución de agentes, resultados estructurados y sistemas multimodales. Monitorear el comportamiento del sistema de IA utilizando plataformas de observabilidad, registro y rastreo. 5. DevOps, nube y confiabilidad Trabajar en entornos Docker y Kubernetes. Realizar pruebas y despliegues basados en la nube en AWS, Azure, OCI y GCP. Validar la confiabilidad y resiliencia del sistema distribuido. Contribuir a las mejores prácticas de ingeniería de calidad y cambio hacia la izquierda en toda la organización. REQUISITOS OBLIGATORIOS Debe tener experiencia sólida en programación en Python. Comprensión profunda de los principios de prueba y ingeniería de calidad de software. Experiencia práctica con prueba de IA/LLM, ingeniería de indicaciones, ingeniería de contexto y evaluaciones de IA. Experiencia práctica con sistemas RAG, agentes de IA y bases de datos de vectores. Experiencia con canalizaciones CI/CD, Docker, Kubernetes y al menos una plataforma en la nube importante (AWS, Azure, OCI o GCP). Experiencia con pruebas de API, pruebas de microservicios y automatización de UI. Competencia en SQL y experiencia en validación de datos. Capacidad demostrada para influir en equipos de ingeniería y impulsar la adopción de nuevas herramientas y procesos. Fuertes habilidades analíticas, de depuración y resolución de problemas. Experiencia trabajando en entornos Agile/Scrum. Experiencia preferible con Robot Framework y Playwright. Conocimiento de LangChain, LangGraph, LlamaIndex, CrewAI o Semantic Kernel. Familiaridad con MCP (Protocolo de contexto de modelo). Experiencia práctica con herramientas de IA para desarrolladores como Cursor, GitHub Copilot, Claude o Gemini. Exposición a flujos de trabajo de MLOps, pruebas de rendimiento, pruebas de seguridad o requisitos de gobernanza y cumplimiento de IA. Experiencia con pruebas de contrato, pruebas de caos o ingeniería de resiliencia. Experiencia en pruebas de seguridad de IA Red Team o LLM (inyección de indicaciones, jailbreaks, fuga de datos). Familiaridad con pruebas de accesibilidad y pruebas entre navegadores/dispositivos. EDUCACIÓN Licenciatura o Maestría en Ciencias de la Computación, Ingeniería, IA/ML o un campo relacionado preferiblemente. La experiencia práctica equivalente y un portafolio demostrable de proyectos son altamente valorados. PERFIL DE ÉXITO El candidato adecuado para este rol es más que un ingeniero sólido. Estamos buscando a alguien que: Experimente activamente con herramientas de IA y construya proyectos secundarios, prototipos o contribuciones de código abierto. Puede unir prácticas tradicionales de ingeniería de calidad con enfoques nativos de IA modernos. Comunica con claridad, influye sin autoridad y gana la confianza de los equipos de ingeniería, producto y liderazgo. Trae una mentalidad de mejora continua y un sesgo hacia la acción. Aprende y aplica rápidamente marcos, herramientas y arquitecturas de IA emergentes. Por qué te encantará. Hemos evolucionado; ofrecemos tres escenarios de entorno de trabajo. Puedes sentirte como un Newfolder en un entorno de trabajo desde casa, híbrido o desde la oficina. Equilibrio entre vida laboral y personal. Nuestro trabajo es emocionante y significativo, pero sabemos que el equilibrio es clave para vivir bien. Celebramos las diferencias de los demás. Estamos orgullosos de nuestra cultura de diversidad e inclusión. Fomentamos una cultura de pertenencia. Nuestra empresa y nuestros clientes se benefician cuando los empleados traen sus verdaderas personalidades al trabajo. Tenemos programas que nos unen en temas importantes y brindan oportunidades de aprendizaje y desarrollo para todos los empleados. Tenemos más de 20 grupos de afinidad donde puedes establecer contactos y conectarte con Newfolders en todo el mundo. Nos importa. Ofrecemos beneficios excelentes desde OSDE 310 Healthcare, Revisiones salariales mensuales, Reembolso de matrícula, Reembolso de Internet, Lecciones de inglés en la empresa, LinkedIn Learning, Programa de referencia de bonificación, F5 días libres adicionales, Bono anual y una oportunidad de trabajar en proyectos globales con un equipo multicultural. ¿A dónde podemos llevarte? Somos fanáticos de ayudar a nuestros empleados a aprender diferentes aspectos del negocio, ser desafiados con nuevas tareas, ser mentorizados y crecer en sus carreras. Desbloquea nuevas posibilidades con #teamnewfold! #NetworkSolutions

Responsabilidades

• Liderar la adopción de herramientas de testing impulsadas por IA
• Diseñar y mantener frameworks de evaluación para LLM
• Validar outputs de LLM y flujos de trabajo de agentes autónomos
• Desarrollar frameworks de automatización escalables
• Integrar automatización y calidad gates en CI/CD

Skills requeridas

Beneficios

• OSDE 310 Health Care
• Monthly Salary Reviews
• Tuition Reimbursement
• Internet Reimbursement
• In-company English Lessons
• LinkedIn learning
• Referral Program Bonus
• F5 extra days off
• Annual Bonus

Trabajos similares

Más ofertas de Web