Azure Data Engineer

Se busca un Data Engineer para trabajar en proyectos de integración de datos utilizando Python, Azure Synapse Analytics y ETL. El rol requiere experiencia en diseño, desarrollo y mantenimiento de procesos de integración de datos.

Descripción del puesto

Bluelight es una consultoría de software líder dedicada a diseñar y desarrollar tecnología innovadora que mejora la vida de los usuarios. Con un compromiso inquebrantable de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de vanguardia, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en los Estados Unidos y América Central y del Sur, Bluelight se encuentra en una emocionante fase de expansión y busca continuamente talento excepcional para unirse a su comunidad dinámica y diversa. Como Ingeniero de Datos ETL, jugarás un papel crítico en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para entregar datos de alta calidad para obtener información y tomar decisiones, esta posición es ideal para un profesional apasionado del desarrollo de software que prospera en un entorno dinámico y acelerado donde se valoran las opiniones y esfuerzos de todos. Al unirte a la consultoría de software en crecimiento de nuestro cliente, tendrás la oportunidad de contribuir a proyectos desafiantes y destacados en un entorno colaborativo que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. Responsabilidades: - Ingeniería de Datos ETL: Desarrollar y mantener procesos de ingeniería de datos ETL utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines, para garantizar extracciones, transformaciones y cargas de datos eficientes. - Almacenamiento de Datos: Aplicar tu experiencia en almacenamiento de datos, comprendiendo esquemas en estrella, hechos y dimensiones, para diseñar y construir estructuras efectivas de almacenamiento de datos en un grupo de procesamiento paralelo masivo (MPP) de SWL. - Experiencia en Fuentes de Datos: Extraer datos de diversas fuentes, incluidas API REST, tablas de bases de datos SWL y archivos CSV. - Experiencia en Azure Synapse Analytics: Utilizar tus profundos conocimientos de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Conceptos de Data Fabric: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como lagos de datos, casas de lago, lagos delta y catalogación de datos, para mejorar las capacidades de gestión de datos. - Modelado de Datos: Colaborar con arquitectos de datos para crear modelos y esquemas de datos que se alineen con los requisitos comerciales. - Calidad de Datos: Implementar comprobaciones de calidad de datos y procesos de validación para mantener la precisión y consistencia de los datos. - Ajuste de Rendimiento: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de datos ETL para cumplir con los SLA. - Monitoreo y Solución de Problemas: Monitorear trabajos ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de la canalización de datos. - Documentación: Mantener documentación integral de los procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos. - Colaboración: Trabajar en estrecha colaboración con equipos multifuncionales para comprender los requisitos de datos y brindar soporte para iniciativas relacionadas con los datos. - Seguridad y Cumplimiento: Garantizar la seguridad de los datos y el cumplimiento con los estándares de gobernanza y privacidad de datos. Calificaciones: - Licenciatura en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Ingeniero de Datos de Azure) siendo una ventaja. - Experiencia comprobada en ingeniería de datos ETL con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos desde API REST, tablas de bases de datos SQL y archivos CSV. - Competencia en el uso de recursos de Azure Synapse Analytics, incluidos Notebooks, Pipelines, Servicios Vinculados y Azure Key Vault. - Capacidad demostrada para escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimientos de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Fuertes habilidades de resolución de problemas y análisis, con una gran atención al detalle. - Excelentes habilidades de comunicación, tanto verbales como escritas, con la capacidad de trabajar de manera colaborativa en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, aprendizaje automático y análisis de datos preferiblemente. - Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y Metodologías Ágiles una ventaja.

Responsabilidades

• Diseñar y desarrollar procesos de integración de datos
• Mantener y optimizar pipelines de datos
• Colaborar con equipos de datos y analistas
• Implementar seguridad y cumplimiento de datos

Skills requeridas

Trabajos similares

Más ofertas de Bluelightconsulting