Data Engineer (Azure)

Data Engineer (Azure) remoto para Latin America. Diseño, desarrollo y mantenimiento de procesos de integración de datos con Python (PySpark) y Azure Synapse Analytics.

Descripción del puesto

Bluelight es una consultoría de software líder dedicada a diseñar y desarrollar tecnología innovadora que mejora la vida de los usuarios. Con un compromiso incondicional de brindar un servicio excepcional a nuestros clientes, Bluelight se destaca en su enfoque en la calidad y la satisfacción del cliente. Nuestra misión no es solo crear aplicaciones de última generación, sino también fomentar un entorno de trabajo colaborativo y enriquecedor donde cada miembro del equipo pueda crecer y prosperar. Con presencia en los Estados Unidos y América Central y del Sur, Bluelight se encuentra en una emocionante fase de expansión y busca continuamente talentos excepcionales para unirse a su comunidad dinámica y diversa. Como Ingeniero de Datos ETL, desempeñarás un papel crítico en el equipo de ingeniería de datos en expansión de nuestro cliente, diseñando, desarrollando y manteniendo procesos de integración de datos principalmente utilizando Python (PySpark) y Azure Synapse Analytics para garantizar la precisión y disponibilidad de datos analíticos. Trabajando en estrecha colaboración con científicos de datos, analistas y otras partes interesadas para brindar datos de alta calidad para obtener información y toma de decisiones, esta posición es ideal para un profesional apasionado del desarrollo de software que prospera en un entorno dinámico y vertiginoso donde se valoran las opiniones y esfuerzos de todos. Al unirte a la creciente consultoría de software de nuestro cliente, tendrás la oportunidad de contribuir a proyectos desafiantes y destacados en un entorno colaborativo que valora profundamente el trabajo duro, el aprendizaje continuo, el crecimiento personal y el desarrollo profesional. - Responsabilidades: - Ingeniería de Datos ETL: Desarrollar y mantener procesos de ingeniería de datos ETL utilizando Python (PySpark) dentro de Azure Synapse Analytics Notebooks y/o Azure Synapse Analytics Pipelines, para garantizar extracciones, transformaciones y cargas de datos eficientes. - Almacenamiento de Datos: Aplicar tu experiencia en almacenamiento de datos, comprendiendo esquemas estrella, hechos y dimensiones, para diseñar y construir estructuras efectivas de almacenamiento de datos en un grupo de procesamiento masivamente paralelo (MPP) SWL. - Experiencia en Fuentes de Datos: Extraer datos de diversas fuentes, incluidas API REST, tablas de bases de datos SWL y archivos CSV. - Experiencia en Azure Synapse Analytics: Utilizar tus profundos conocimientos de Azure Synapse Analytics para diseñar y optimizar notebooks/pipelines de datos para escalabilidad y rendimiento. - Conceptos de Data Fabric: Contribuir a la implementación y comprensión de otros conceptos de Data Fabric, como lagos de datos, casas de datos, lagos delta y catalogación de datos, para mejorar las capacidades de gestión de datos. - Modelado de Datos: Colaborar con arquitectos de datos para crear modelos de datos y esquemas que se alineen con los requisitos comerciales. - Calidad de Datos: Implementar comprobaciones de calidad de datos y procesos de validación para mantener la precisión y consistencia de los datos. - Ajuste de Rendimiento: Identificar y resolver cuellos de botella de rendimiento y optimizar notebooks/pipelines de datos ETL para cumplir con los SLA. - Monitoreo y Solución de Problemas: Monitorear trabajos ETL, diagnosticar problemas e implementar soluciones para garantizar la confiabilidad de la canalización de datos. - Documentación: Mantener documentación integral de procesos de ingeniería de datos ETL, flujos de datos y transformaciones de datos. - Colaboración: Trabajar en estrecha colaboración con equipos multifuncionales para comprender requisitos de datos y brindar soporte para iniciativas relacionadas con datos. - Seguridad y Cumplimiento: Garantizar la seguridad de los datos y el cumplimiento con los estándares de gobierno y privacidad de datos. - Calificaciones: - Licenciatura en Ciencias de la Computación, Tecnología de la Información o un campo relacionado; o experiencia laboral equivalente, con certificaciones relacionadas con ingeniería de datos o ciencia de datos (por ejemplo, Ingeniero de Datos de Azure) siendo un plus. - Experiencia comprobada en ingeniería de datos ETL con experiencia significativa en el uso de Python (PySpark) para realizar extracción, transformación y carga de datos de API REST, tablas de bases de datos SQL y archivos CSV. - Competencia en el uso de recursos de Azure Synapse Analytics, incluidos Notebooks, Pipelines, Servicios vinculados y Azure Key Vault. - Demostración de la capacidad de escribir consultas SQL complejas, optimizar el rendimiento de las consultas y trabajar tanto con SparkSQL como con MS SQL para extraer, transformar y cargar datos de manera efectiva. - Conocimiento de las mejores prácticas y herramientas de integración de datos. - Experiencia con sistemas de control de versiones, como Git (Azure DevOps). - Fuertes habilidades de resolución de problemas y análisis, con una gran atención al detalle. - Excelentes habilidades de comunicación, tanto verbales como escritas, con la capacidad de trabajar de manera colaborativa en un entorno de equipo con prioridades cambiantes. - Familiaridad con tecnologías de big data, aprendizaje automático y análisis de datos preferida. - Experiencia con herramientas de visualización de datos (por ejemplo, Power BI, Tableau) y Metodologías Ágiles un plus.

Responsabilidades

• ETL data engineering
• Data warehousing
• Data source expertise
• Azure Synapse Analytics expertise
• Data fabric concepts
• Data modeling
• Data quality
• Performance tuning
• Monitoring y troubleshooting
• Documentation
• Collaboration
• Security and compliance

Skills requeridas

Trabajos similares

Más ofertas de Bluelightconsulting