Senior AWS Data Engineer

Se busca Senior Data Engineer para un equipo pequeño de 2 Data Engineers y 1 Data Analyst en ON.energy, para escalar infraestructura de datos basada en AWS, trabajando con fuentes de datos industriales y datos de series temporales de alto volumen.

Descripción del puesto

ON.energy está construyendo la infraestructura energética que hace posible la era de la inteligencia artificial. A medida que la demanda de inteligencia artificial supera lo que la red eléctrica y los centros de datos tradicionales pueden soportar, ON.energy proporciona una nueva clase de tecnología energética probada a escala de gigavatios y confiable para las principales empresas de nube y inteligencia artificial del mundo. Nuestros sistemas ya están desplegados en 2,5 GW de campus de hiperescala, validados por los principales laboratorios nacionales de EE. UU. y certificados para operación segura en la red por parte de las principales empresas de servicios públicos. Con productos reales en funcionamiento, estamos escalando más rápido de lo que la red eléctrica puede, transformando la energía de un cuello de botella en una ventaja competitiva para las empresas que construyen el futuro. Estamos buscando un Senior Data Engineer experimentado para unirse a un pequeño equipo (2 Data Engineers + 1 Data Analyst). Ayudarás a escalar nuestra infraestructura de datos basada en AWS, trabajando principalmente con fuentes de datos industriales y datos de series temporales de alto volumen. Responsabilidades: - Colaborar directamente con los usuarios finales para comprender cómo consumen datos y diseñar soluciones que satisfagan sus necesidades. - Diseñar, desarrollar y mantener pipelines ETL/ELT escalables para procesamiento por lotes y en tiempo real, incluida la ingesta de series temporales de alta frecuencia. - Evolucionar el Data Lakehouse, optimizando el almacenamiento, el rendimiento y la coherencia de los datos. - Gestionar flujos de trabajo de orquestación con dependencias complejas y manejo de errores. - Implementar gobernanza de datos, controles de seguridad y políticas de auditoría en todo el ecosistema de AWS, aprovechando servicios como AWS Lake Formation para permisos y gobernanza centralizados del lago de datos. - Optimizar el rendimiento y el costo (FinOps); identificar y resolver cuellos de botella técnicos. - Colaborar con el Data Analyst para entregar conjuntos de datos optimizados para análisis listos para producción. - Crear monitoreo, alertas y pruebas de calidad de datos para la confiabilidad de la plataforma. Requisitos: - Licenciatura en Ciencias de la Computación, Ingeniería en Computación o una disciplina estrechamente relacionada es requerida. - Al menos 5 años de experiencia en Data Engineering, Analytics Engineering o roles relacionados. - Experiencia práctica profunda con servicios de datos centrales de AWS: Glue, Athena, Step Functions, Lambda, Kinesis y Lake Formation. - Experiencia práctica con Apache Iceberg (requerido). - Experiencia experta en Python (PySpark / Python Shell) y SQL avanzado (funciones de ventana, CTE, ajuste de planes de ejecución). - Sólida comprensión de las mejores prácticas de herramientas ETL/ELT y modelado dimensional (Kimball). - Experiencia preparando arquitecturas de datos para herramientas de visualización y informes operativos/de gestión. - Experiencia práctica con motores NoSQL (por ejemplo, DynamoDB) y bases de datos SQL relacionales. - Infraestructura como código: Terraform o AWS CloudFormation. Experiencia preferible: - Apache Airflow (experiencia en MWAA preferida) o orquestación nativa de AWS. - Familiaridad con dbt, Airbyte o Fivetran. - Experiencia automatizando CI/CD para trabajos Glue o deployments de Lambda. Habilidades blandas: - Mentalidad de pares senior: lidera a través de revisiones de código y mentoría, no jerarquía. - Tomador de decisiones pragmático que elige la herramienta adecuada para el costo, la eficiencia y las necesidades del proyecto. - Fuerte propiedad de la calidad de los datos de extremo a extremo y la disponibilidad del sistema. - Comunicador claro que puede traducir las necesidades comerciales en soluciones técnicas. Para roles basados en EE. UU. - Lo que obtendrás: - Salario competitivo + elegibilidad para bonificación anual basada en el rendimiento - Seguro médico, dental y de visión - 401(k) con coincidencia de la empresa - Tiempo libre pagado y días festivos de la empresa Para roles basados en México - Lo que obtendrás: - Salario competitivo + elegibilidad para bonificación anual de rendimiento - Bonificación de Navidad (Aguinaldo): 30 días - Gastos médicos mayores y seguro de vida - Tiempo libre pagado y días festivos (según la política local) Para todos los roles: - Oportunidades de desarrollo y crecimiento profesional - Oportunidad de crecer con un equipo impulsado por una misión que está dando forma al futuro de la energía limpia - Igualdad de oportunidades: ON.energy se compromete con la igualdad de oportunidades de empleo y a mantener un entorno laboral libre de acoso, discriminación o represalias. - Alojamiento: Si necesitas un alojamiento durante el proceso de solicitud, envía un correo electrónico a [email protected] - Los beneficios varían según el rol y la ubicación y están sujetos a cambios.

Responsabilidades

• Diseñar y desarrollar pipelines ETL/ELT escalables
• Gestionar flujos de trabajo de orquestación con dependencias complejas
• Implementar gobierno de datos, controles de seguridad y políticas de auditoría
• Optimizar rendimiento y costo
• Colaborar con el analista de datos para entregar conjuntos de datos optimizados para análisis

Skills requeridas

Beneficios

• Competitive salary
• Annual performance-based bonus eligibility
• Medical, dental, and vision insurance
• 401(k) with company match
• Paid time off and company holidays

Trabajos similares

Más ofertas de ON.energy