Azure Data Engineer

Se busca un Azure Data Engineer para trabajar de manera remota en América Latina, diseñando y desarrollando procesos de integración de datos utilizando Python (PySpark) y Azure Synapse Analytics.

Descripción del puesto

Bluelight es una consultoría de software líder dedicada al diseño y desarrollo de tecnología innovadora que mejora la vida de los usuarios. Con un compromiso inquebrantable de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de vanguardia, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en los Estados Unidos y Centro/Sudamérica, Bluelight se encuentra en una emocionante fase de expansión y busca constantemente talento excepcional para unirse a su comunidad dinámica y diversa. Como Ingeniero de Datos ETL, desempeñará un papel fundamental en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para brindar datos de alta calidad para obtener información y tomar decisiones, este puesto es ideal para un profesional apasionado del desarrollo de software que prospera en un entorno dinámico y acelerado donde se valoran las opiniones y esfuerzos de todos. Al unirse a la consultoría de software en crecimiento de nuestro cliente, tendrá la oportunidad de contribuir a proyectos desafiantes y destacados en un entorno colaborativo que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. Responsabilidades: - Ingeniería de datos ETL: Desarrollar y mantener procesos de ingeniería de datos ETL utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines para garantizar extracciones, transformaciones y cargas de datos eficientes. - Almacenamiento de datos: Aplicar su experiencia en almacenamiento de datos, comprendiendo esquemas en estrella, hechos y dimensiones, para diseñar y construir estructuras efectivas de almacenamiento de datos en un grupo de procesamiento masivamente paralelo (MPP) SWL. - Experiencia en fuentes de datos: Extraer datos de diversas fuentes, incluidas API REST, tablas de bases de datos SWL y archivos CSV. - Experiencia en Azure Synapse Analytics: Utilizar su profundo conocimiento de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Conceptos de Data Fabric: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como lagos de datos, casas de lago, lagos delta y catalogación de datos, para mejorar las capacidades de gestión de datos. - Modelado de datos: Colaborar con arquitectos de datos para crear modelos de datos y esquemas que se alineen con los requisitos comerciales. - Calidad de datos: Implementar comprobaciones de calidad de datos y procesos de validación para mantener la precisión y consistencia de los datos. - Ajuste de rendimiento: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de datos ETL para cumplir con los SLA. - Monitoreo y solución de problemas: Monitorear trabajos ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de la canalización de datos. - Documentación: Mantener documentación integral de los procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos. - Colaboración: Trabajar en estrecha colaboración con equipos multifuncionales para comprender los requisitos de datos y brindar soporte para iniciativas relacionadas con los datos. - Seguridad y cumplimiento: Garantizar la seguridad de los datos y el cumplimiento de los estándares de gobierno y privacidad de datos. Calificaciones: - Título universitario en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Ingeniero de Datos de Azure) siendo un plus. - Experiencia comprobada en ingeniería de datos ETL con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos de API REST, tablas de bases de datos SQL y archivos CSV. - Competencia en el uso de recursos de Azure Synapse Analytics, incluidos Notebooks, Pipelines, Servicios vinculados y Azure Key Vault. - Capacidad demostrada para escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar con SparkSQL y MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimiento de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Fuertes habilidades de resolución de problemas y análisis, con gran atención al detalle. - Excelentes habilidades de comunicación, tanto verbales como escritas, con la capacidad de trabajar de manera colaborativa en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, aprendizaje automático y análisis de datos preferiblemente. - Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y Metodologías Ágiles un plus.

Responsabilidades

• Desarrollo y mantenimiento de procesos de ETL
• Diseño y construcción de estructuras de almacenamiento de datos
• Extracción de datos de diversas fuentes
• Optimización de notebooks/pipelines de datos
• Implementación de controles de calidad de datos
• Monitoreo y solución de problemas en ETL
• Documentación de procesos de ETL

Skills requeridas

Trabajos similares

Más ofertas de Bluelightconsulting