Data Engineer, AWS Glue

NTT DATA es un equipo de más de 190.000 profesionales diversos, que operan en más de 50 países en todo el mundo. Los sectores donde tenemos actividades incluyen: telecomunicaciones, finanzas, industria, utilities, energía, administración pública y salud.

Nuestra misión es ofrecer soluciones tecnológicas, de negocio, estrategia, desarrollo y mantenimiento de aplicaciones, siendo un referente en consultoría. Todo gracias a la colaboración entre equipos, la calidad humana de nuestra gente y a que no nos conformamos con lo establecido, siempre buscamos la innovación que nos acerque al futuro.

Nuestra esencia nos ha llevado a la vanguardia de la tecnología, rompiendo paradigmas y aportando soluciones que realmente responden a las necesidades de cada cliente. Nuestro talento nos ha llevado a ser una de las 6 principales empresas tecnológicas del mundo.

Porque #Greattech necesita #GreatPeople, como vos.

NTT DATA busca jugadores de equipo de alto rendimiento, rápidamente adaptables a nuevos desafíos y emprendimientos. Buscamos un <strong>Data Engineer, AWS Glue</strong> para trabajar con nuestro cliente global en EE. UU. para una oportunidad remota en LATAM (incluyendo México, Brasil, Chile, Perú).

<strong>Resumen del puesto:</strong>

Buscamos un <strong>Data Engineer</strong> especializado en mover datos de sistemas fuente heterogéneos a Amazon S3 y procesarlos a través del lago, con AWS Glue como motor principal. El enfoque principal del rol es la ingesta: conectividad a las fuentes, extracción completa e incremental, diseño de la zona de aterrizaje y cargas confiables y repetibles a escala. Sobre esa base, se requieren capacidades en cada capa de la arquitectura medallion, desde la capa raw hasta la capa gold, pasando por la limpieza. Responsable de la confiabilidad de los pipelines, la calidad de los datos y la eficiencia de costos de procesamiento en entornos empresariales o altamente regulados.

<strong>Responsabilidades:</strong>

• Diseñar, construir y mantener pipelines de ingesta que muevan datos de fuentes relacionales, archivos, API y streaming a Amazon S3, con cargas completas, incrementales y basadas en CDC.
• Definir y mantener el diseño de las zonas de aterrizaje y raw: particionamiento, formatos de archivo, convenciones de nombres, compresión, retención e inmutabilidad de los datos fuente.
• Incorporar nuevos sistemas fuente de extremo a extremo, cubriendo la configuración de conectividad y red, gestión de credenciales, estrategia de extracción, análisis de volumen y ventanas, y coordinación con los propietarios de las fuentes.
• Garantizar la integridad y completitud de las cargas mediante la conciliación contra la fuente, tablas de control, procedimientos de reprocesamiento y manejo claro de ejecuciones fallidas o parciales.
• Implementar el procesamiento en todas las capas de la arquitectura medallion, aplicando reglas de limpieza, estandarización, deduplicación, conformidad y negocio en la etapa apropiada.
• Registrar y mantener datasets en el Glue Data Catalog, manteniendo esquemas, particiones y metadatos alineados con Athena, Redshift y Lake Formation.
• Optimizar el rendimiento y el costo de los trabajos, monitoreando el consumo de DPU, los tiempos de ejecución y el diseño de archivos, y refactorizando trabajos que excedan los objetivos acordados.
• Integrar controles de calidad de datos en los pipelines, definir conjuntos de reglas, manejar registros rechazados y publicar métricas de calidad a los stakeholders.
• Orquestar pipelines de múltiples pasos con Glue Workflows, Step Functions y EventBridge, incluyendo gestión de dependencias, alertas y recuperación.
• Proporcionar soporte L2 y L3 para pipelines de producción: análisis de incidentes, investigación de causas raíz, backfills y backlog de mejora continua.
• Aplicar y documentar estándares de desarrollo, convenciones de nombres y procedimientos de promoción en entornos Dev, QA y Producción, y colaborar con los equipos de gobernanza y seguridad en políticas de acceso, captura de linaje y calidad de metadatos.

<strong>Requisitos:</strong>

• Más de 5 años de experiencia en ingeniería de datos.
• Dominio del inglés y español, tanto escrito como hablado.
• Experiencia práctica en la construcción de pipelines ETL con AWS Glue y PySpark.
• Experiencia moviendo datos de bases de datos y archivos a Amazon S3.
• Sólidos conocimientos de Python, SQL, Spark y transformación de datos.
• Experiencia diseñando pipelines de datos confiables, escalables y reiniciables.
• Comprensión de data lakes S3 y arquitecturas de datos en capas.
• Experiencia con herramientas de AWS para flujos de trabajo, monitoreo y calidad de datos.
• Experiencia en soporte de pipelines de producción y resolución de fallos.

<strong>Deseable:</strong>

• Experiencia con servicios de datos adicionales de AWS como DMS, Athena, Redshift o Lake Formation.
• Familiaridad con Informatica, Denodo, Terraform o CloudFormation.
• Experiencia en entornos empresariales o altamente regulados.
• Certificación relevante en AWS, ingeniería de datos o bases de datos.

<strong>¿Por qué NTT DATA?</strong>

El empoderamiento y las recompensas son la piedra angular de nuestro modelo de desarrollo profesional. Somos una empresa joven, de rápido crecimiento, con un espíritu altamente innovador y emprendedor, por lo que la experiencia y el crecimiento profesional serán inigualables. Nuestro talento y actitud positiva nos permiten transformar nuestros objetivos en logros y los proyectos en realidades.

NTT DATA se compromete a contratar y retener una fuerza laboral diversa. Estamos orgullosos de ser un Empleador de Igualdad de Oportunidades / Acción Afirmativa, tomando decisiones sin distinción de raza, color, religión, credo, sexo, orientación sexual, identidad de género, estado civil, origen nacional, edad, estado de veterano, discapacidad o cualquier otra clase protegida. NTT DATA es un Empleador de Igualdad de Oportunidades (Hombres/Mujeres/Discapacitados/Veteranos) y un Contratista Federal VEVRAA.