Empresa de consultoría tecnológica busca un Ingeniero de Datos Senior con experiencia en Google Cloud para diseñar, construir y optimizar pipelines de datos a gran escala.
Si te copa la idea de trabajar remoto y ser parte de una consultora tecnológica en crecimiento, fundada por ex-Google Cloud, este puesto es para vos. Vas a poder diseñar y optimizar pipelines de datos a gran escala en Google Cloud, asesorando a empresas en su transformación digital.
Descripción del puesto
Zencore es una empresa en rápido crecimiento fundada por exlíderes, arquitectos e ingenieros de Google Cloud. Buscamos candidatos con experiencia significativa en Google Cloud para unirse a nuestro equipo. Nuestros proyectos buscan eliminar obstáculos, reducir riesgos y acelerar los plazos para clientes que transicionan a Google y buscan asistencia con la modernización de datos y aplicaciones. Nos integramos en los equipos de los clientes para brindar orientación estratégica, facilitar decisiones tecnológicas y ejecutar proyectos en un estilo colaborativo de codesarrollo. Qué harás... Como miembro de nuestro equipo de Ingeniería de Datos, trabajarás con empresas innovadoras y de ritmo rápido, aprovechando la nube como motor clave de su transformación. Te verán como su asesor de confianza, alguien en quien pueden confiar y que los acompañará en su camino en Google Cloud. Se espera que cubras un amplio espectro de temas tecnológicos como ETL/ELT, Data Warehousing, Procesamiento Distribuido de Datos y Sistemas de Streaming de Datos. Responsabilidades: - Diseñar, construir y optimizar pipelines de datos distribuidos a gran escala utilizando Apache Beam / Google Cloud Dataflow, Apache Spark o Apache Flink. - Desarrollar flujos de trabajo ETL/ELT en GCP integrando múltiples fuentes de datos estructuradas y no estructuradas. - Abordar desafíos de esquemas, conversión de tipos y optimización de rendimiento al migrar data warehouses a BigQuery. - Implementar observabilidad, monitoreo, logging y manejo de errores dentro de los pipelines. - Colaborar con Data Analysts para integrar reglas de validación, verificaciones de QA y pruebas automatizadas en el ciclo de vida del pipeline. - Soportar migraciones de datos a gran escala y ajuste de rendimiento para cargas de trabajo de alto volumen. A quién necesitamos... - Más de 4 años trabajando como Ingeniero de Datos en entornos cloud modernos. - Más de 2 años de experiencia práctica en GCP (BigQuery, Dataflow, Dataform, Composer, Dataproc, Pub/Sub). - Sólida experiencia con frameworks de procesamiento de datos distribuidos (se requiere experiencia en al menos uno): Apache Beam / Google Cloud Dataflow, Apache Spark, Apache Flink. - Dominio de: Python (desarrollo de pipelines), SQL (dialectos Oracle + BigQuery son ideales), Apache Airflow (orquestación). - Experiencia con cargas de trabajo de big data, pipelines batch/streaming y migraciones de datos a gran escala. - Experiencia con data warehousing (BigQuery, Snowflake, Databricks es un plus). - Familiaridad con CI/CD, MLOps o frameworks de calidad de datos es una ventaja. Por qué trabajar aquí... - Somos profesionales en quienes puedes confiar. Nuestra gente tiene la experiencia necesaria para hacer el trabajo. - Compartimos opiniones imparciales y nos sentimos cómodos con las verdades difíciles. Eres el experto para nuestros clientes. - Somos el "eslabón perdido". Conectarás a nuestros clientes con Google y te moverás rápido cuando otros no pueden. - Eliminamos la incertidumbre y el riesgo al delinear claramente el proceso de migración a la nube para nuestros clientes. - Aceleramos los plazos y no nos detenemos en un desafío. Te moverás más rápido y expondrás los "desconocidos desconocidos" para nuestros clientes. - Mostramos empatía. Nuestros clientes creen en nosotros porque entendemos sus complejidades. Cómo tener éxito... - Primera regla en Zencore: Sé amable. - Haz tuyo el proceso: sé dueño del éxito de tu cliente mediante prácticas proactivas. - Trabaja duro para llegar al destino, pero asegúrate de disfrutar el viaje. - Promueve una cultura colaborativa consistente. - Sé receptivo a la retroalimentación. - Desafía el status quo.
Responsabilidades
- Diseñar, construir y optimizar pipelines de datos distribuidos a gran escala usando Apache Beam / Google Cloud Dataflow, Apache Spark, o Apache Flink.
- Desarrollar flujos de trabajo ETL/ELT en GCP integrando múltiples fuentes de datos estructuradas y no estructuradas.
- Abordar desafíos de esquemas, conversión de tipos y optimización de rendimiento al migrar data warehouses a BigQuery.
- Implementar observabilidad, monitoreo, logging y manejo de errores dentro de los pipelines.
- Colaborar con Data Analysts para integrar reglas de validación, verificaciones de QA y pruebas automatizadas en el ciclo de vida del pipeline.
- Soportar migraciones de datos a gran escala y ajuste de rendimiento para cargas de trabajo de alto volumen.