Empresa busca un Ingeniero de Datos Senior para unirse a su equipo de Plataforma de Datos. El rol implica diseñar y construir pipelines de datos modernos en Azure, optimizar flujos de datos en Azure Synapse y Databricks, y asegurar la fiabilidad y escalabilidad de la infraestructura.
Si sos un Ingeniero de Datos Senior con experiencia en Azure y te copa trabajar en proyectos de gran escala para una empresa minera global, este puesto remoto es para vos. Podrás diseñar y construir pipelines de datos modernos y optimizar flujos en Azure Synapse y Databricks.
Descripción del puesto
Sobre el proyecto: Te integrarás al equipo de Data Platform de una organización minera global, ayudando a diseñar y entregar una infraestructura de datos moderna nativa de Azure. El equipo ingiere datos de docenas de fuentes operativas —incluyendo APIs REST y SOAP, sensores IoT, sistemas ERP y feeds de archivos planos— transformándolos en conjuntos de datos curados y listos para análisis que impulsan decisiones en finanzas, operaciones y cadena de suministro. Este es un rol de ingeniería práctico. Pasarás la mayor parte del tiempo construyendo y manteniendo pipelines robustos, optimizando flujos de datos dentro de Azure Synapse y Databricks, y asegurando que la plataforma siga siendo confiable, escalable y segura. Responsabilidades clave: - Recopilar y analizar requisitos de negocio para identificar y priorizar oportunidades de integración. - Diseñar, construir y mantener pipelines de datos escalables utilizando Azure Data Factory para orquestar la ingesta desde diversos sistemas fuente. - Desarrollar y optimizar la lógica de transformación de datos y cargas de trabajo analíticas en Azure Synapse Analytics (pools SQL dedicados y serverless, Synapse Pipelines). - Construir y mantener notebooks y trabajos de Databricks (PySpark / Spark SQL) para procesamiento de datos a gran escala e ingeniería de características. - Implementar patrones robustos de extracción de API — REST y SOAP — manejando paginación, autenticación (OAuth 2.0, claves API), limitación de tasa y recuperación de errores. - Diseñar y mantener la arquitectura lakehouse: capas raw, curated y serving utilizando Azure Data Lake Storage Gen2. - Asegurar la calidad de los datos a través de frameworks de validación, monitoreo de pipelines, alertas y documentación de linaje. - Colaborar con Ingenieros de Analytics y consumidores de datos para entender los requisitos downstream y modelar los datos en consecuencia. - Aplicar mejores prácticas para CI/CD, infraestructura como código (Azure DevOps, Terraform / Bicep) y gestión de entornos. - Participar en actividades de gobernanza de datos, incluyendo gestión de metadatos, control de acceso y documentación. Requisitos: - Más de 4 años de experiencia en ingeniería de datos o un rol de ingeniería de software estrechamente relacionado. - Sólidas habilidades analíticas y de comunicación. - Fuerte experiencia práctica con Azure Data Factory — creación de pipelines, triggers, linked services y data flows. - Sólida experiencia con Azure Synapse Analytics — pools SQL, Synapse Pipelines e integración con ADLS Gen2. - Experiencia comprobada con Databricks — PySpark, Delta Lake, job clusters y Unity Catalog es un plus. - Fuertes habilidades de extracción de API: diseño de ingesta confiable desde endpoints REST y SOAP, manejo de autenticación compleja y escenarios de error. - Dominio de SQL (T-SQL o Spark SQL) y Python para manipulación de datos y scripting de pipelines. - Familiaridad con conceptos de modelado de datos: esquemas estrella/copo de nieve, data vault o arquitectura medallion. - Experiencia con Azure DevOps para control de código fuente (Git), pipelines de CI/CD y despliegues automatizados. - Comprensión de seguridad de datos, control de acceso basado en roles (RBAC) y encriptación en Azure. - Sólida mentalidad de resolución de problemas y capacidad para trabajar de forma autónoma en un entorno de equipo distribuido. Se valora: - Experiencia con Azure Purview para catalogación y gobernanza de datos. - Conocimiento de patrones de datos de streaming (Azure Event Hubs, Kafka, Spark Streaming). - Familiaridad con dbt o frameworks de transformación similares basados en SQL. - Experiencia en minería, industria pesada o entornos de datos de tecnología operativa (OT). - Conocimiento de Power Platform (no requerido, pero beneficioso para entender a los consumidores downstream). Ofrecemos*: - Formato de trabajo flexible: remoto, presencial o híbrido. - Salario competitivo y buen paquete de compensación. - Crecimiento profesional personalizado. - Herramientas de desarrollo profesional (programa de mentoría, charlas técnicas y capacitaciones, centros de excelencia y más). - Comunidades tecnológicas activas con intercambio regular de conocimientos. - Reembolso de gastos educativos. - Regalos conmemorativos por aniversarios. - Eventos corporativos y team buildings. - Otros beneficios específicos de la ubicación. *no aplicable a freelancers
Responsabilidades
- Diseñar y entregar infraestructura de datos moderna nativa de Azure.
- Ingestar datos de fuentes operacionales diversas.
- Transformar datos en datasets curados y listos para análisis.
- Construir y mantener pipelines de datos robustos.
- Optimizar flujos de datos en Azure Synapse y Databricks.
- Asegurar que la plataforma sea fiable, escalable y segura.
- Diseñar, construir y mantener pipelines escalables usando Azure Data Factory.
- Desarrollar y optimizar lógica de transformación de datos y cargas de trabajo analíticas en Azure Synapse Analytics.
- Construir y mantener notebooks y trabajos de Databricks (PySpark / Spark SQL).
- Implementar patrones robustos de extracción de API (REST y SOAP).
- Diseñar y mantener la arquitectura lakehouse.
- Asegurar la calidad de los datos mediante frameworks de validación, monitoreo y alertas.
- Colaborar con ingenieros de análisis y consumidores de datos.
- Aplicar mejores prácticas para CI/CD, infraestructura como código y gestión de entornos.
- Participar en actividades de gobernanza de datos.
Skills requeridas
Beneficios
- Flexible working format
- Competitive salary
- Good compensation package
- Personalized career growth
- Professional development tools
- Tech communities
- Education reimbursement
- Anniversary presents
- Corporate events
- Team buildings