Directo de la empresahace 4 años
Senior Data Engineer
Zencore
Remoto · Tiempo completo · Senior · 4+ años
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Empresa de consultoría en Google Cloud busca un Senior Data Engineer con experiencia en diseño y optimización de pipelines de datos a gran escala, data warehousing y procesamiento distribuido.
Por qué aplicar
Si te copa la idea de trabajar remoto y ser parte de una consultora tecnológica en crecimiento, fundada por ex-Google Cloud, este puesto es para vos. Vas a poder diseñar y optimizar pipelines de datos a gran escala en Google Cloud, asesorando a empresas en su transformación digital.
Descripción del puesto
Zencore es una empresa en rápido crecimiento fundada por exlíderes, arquitectos e ingenieros de Google Cloud. Buscamos candidatos con experiencia significativa en Google Cloud para unirse a nuestro equipo. Nuestros proyectos buscan eliminar obstáculos, reducir riesgos y acelerar los plazos para clientes que transicionan a Google y buscan asistencia con la modernización de datos y aplicaciones. Nos integramos en los equipos de los clientes para brindar orientación estratégica, facilitar decisiones tecnológicas y ejecutar proyectos en un estilo colaborativo de codesarrollo.
Qué harás...
Como miembro de nuestro equipo de Ingeniería de Datos, trabajarás con empresas innovadoras y de ritmo rápido, aprovechando la nube como motor clave de su transformación. Te verán como su asesor de confianza, alguien en quien pueden confiar y que los acompañará en su camino en Google Cloud. Se espera que cubras un amplio espectro de temas tecnológicos como ETL/ELT, Data Warehousing, Procesamiento Distribuido de Datos y Sistemas de Streaming de Datos.
Responsabilidades
- Diseñar, construir y optimizar pipelines de datos distribuidos a gran escala utilizando Apache Beam / Google Cloud Dataflow, Apache Spark o Apache Flink.
- Desarrollar flujos de trabajo ETL/ELT en GCP integrando múltiples fuentes de datos estructuradas y no estructuradas.
- Abordar desafíos de esquemas, conversión de tipos y optimización de rendimiento al migrar data warehouses a BigQuery.
- Implementar observabilidad, monitoreo, logging y manejo de errores dentro de los pipelines.
- Colaborar con Data Analysts para integrar reglas de validación, verificaciones de QA y pruebas automatizadas en el ciclo de vida del pipeline.
- Soportar migraciones de datos a gran escala y ajuste de rendimiento para cargas de trabajo de alto volumen.
A quién necesitamos...
- Más de 4 años trabajando como Ingeniero de Datos en entornos cloud modernos.
- Más de 2 años de experiencia práctica en GCP (BigQuery, Dataflow, Dataform, Composer, Dataproc, Pub/Sub).
- Sólida experiencia con frameworks de procesamiento de datos distribuidos (se requiere experiencia en al menos uno): Apache Beam / Google Cloud Dataflow, Apache Spark, Apache Flink.
- Dominio de: Python (desarrollo de pipelines), SQL (dialectos Oracle + BigQuery son ideales), Apache Airflow (orquestación).
- Experiencia con cargas de trabajo de big data, pipelines batch/streaming y migraciones de datos a gran escala.
- Experiencia con data warehousing (BigQuery, Snowflake, Databricks es un plus).
- Familiaridad con CI/CD, MLOps o frameworks de calidad de datos es una ventaja.
Por qué trabajar aquí...
- Somos profesionales en quienes puedes confiar. Nuestra gente tiene la experiencia necesaria para hacer el trabajo.
- Compartimos opiniones imparciales y nos sentimos cómodos con las verdades difíciles. Eres el experto para nuestros clientes.
- Somos el "eslabón perdido". Conectarás a nuestros clientes con Google y te moverás rápido cuando otros no pueden.
- Eliminamos la incertidumbre y el riesgo al delinear claramente el proceso de migración a la nube para nuestros clientes.
- Aceleramos los plazos y no nos detenemos en un desafío. Te moverás más rápido y expondrás los "desconocidos desconocidos" para nuestros clientes.
- Mostramos empatía. Nuestros clientes creen en nosotros porque entendemos sus complejidades.
Cómo tener éxito...
- Primera regla en Zencore: Sé amable.
- Haz tuyo el proceso: sé dueño del éxito de tu cliente mediante prácticas proactivas.
- Trabaja duro para llegar al destino, pero asegúrate de disfrutar el viaje.
- Promueve una cultura colaborativa consistente.
- Sé receptivo a la retroalimentación.
- Desafía el status quo.
Responsabilidades
- Diseñar, construir y optimizar pipelines de datos distribuidos a gran escala usando Apache Beam / Google Cloud Dataflow, Apache Spark, o Apache Flink.
- Desarrollar flujos de trabajo ETL/ELT en GCP integrando múltiples fuentes de datos estructuradas y no estructuradas.
- Abordar desafíos de esquemas, conversión de tipos y optimización de rendimiento al migrar data warehouses a BigQuery.
- Implementar observabilidad, monitoreo, logging y manejo de errores dentro de los pipelines.
- Colaborar con Data Analysts para integrar reglas de validación, controles de QA y pruebas automatizadas en el ciclo de vida del pipeline.
- Soportar migraciones de datos a gran escala y ajuste de rendimiento para cargas de trabajo de alto volumen.
Habilidades
Diseño de pipelines de datosOptimización de pipelines de datosData WarehousingProcesamiento de datos distribuidoSistemas de datos en streamingMigración de datosMonitoreoLoggingManejo de erroresValidación de datosQATesting automatizadoConfianzaOpinión objetivaExperto técnicoEmpatíaColaboraciónProactividadTrabajo duroDisfrutar el procesoReceptividad a feedbackCuestionar el status quo