Directo de la empresahace 12 días
1104 | Senior Data (Databricks) Engineer
Intetics
Remoto · Tiempo completo
Senior4+ años
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Empresa de tecnología busca Ingeniero de Datos Senior con experiencia en Databricks para unirse a su equipo remoto. El rol implica la gestión de pipelines de datos, optimización de costos, migración de ETL y aseguramiento de la calidad y seguridad de los datos.
Por qué aplicar
Si sos un Ingeniero de Datos Senior con experiencia en Databricks, esta oportunidad remota en Intetics te permite trabajar en la vanguardia de la IA aplicada a CRM. Podrás gestionar pipelines, optimizar costos y asegurar la calidad de datos en un proyecto innovador.
Descripción del puesto
Intetics Inc., empresa global de tecnología que ofrece desarrollo de aplicaciones de software a medida, equipos profesionales distribuidos, evaluación de calidad de productos de software y soluciones "all-things-digital", busca un Ingeniero de Datos Senior altamente calificado y con experiencia para unirse a nuestro dinámico equipo a tiempo completo. Sobre el Proyecto Estamos redefiniendo el CRM para la era de la IA. Cumplimos la promesa original del CRM: convertir señales fragmentadas de clientes e ingresos en acciones claras y priorizadas. En lugar de más paneles o información superficial, ayudamos a los equipos a concentrarse en lo que más importa y saber exactamente qué hacer a continuación. Más de dos décadas después de nuestra fundación, entramos en un nuevo capítulo con claridad y impulso, construyendo soluciones inteligentes e intuitivas que funcionan dentro del flujo de cómo los equipos venden y atienden. Nos enfocamos en resolver desafíos complejos del mundo real donde las relaciones, el contexto y la precisión marcan la diferencia. Nuestro equipo global está unido por un compromiso compartido con el impacto, la propiedad y el crecimiento continuo. Creamos un entorno donde las ideas reflexivas avanzan rápidamente, donde se confía en las personas para liderar y donde la flexibilidad apoya la forma en que se realiza un gran trabajo. Si te entusiasma ayudar a dar forma a lo próximo en CRM impulsado por IA, y construir tecnología que genere resultados reales, nos encantaría conocerte. Tu Rol La plataforma de datos predictivos potencia la inteligencia de ingresos para empresas de mercado medio al fusionar datos de ERP y CRM en información procesable. Como Ingeniero de Datos Senior, serás responsable de los pipelines de Databricks que lo hacen posible, impulsando la confiabilidad de la producción, la eficiencia de costos y el crecimiento de la plataforma a través de la incorporación de clientes y la modernización de sistemas heredados. Trabajarás en estrecha colaboración con ingenieros de ML, equipos de producto y el equipo de Arquitectura Empresarial para garantizar que la columna vertebral de datos detrás de la plataforma predictiva sea siempre rápida, limpia y esté lista para operar a escala global. Impacto que tendrás en el rol: - Ser responsable del soporte de producción de Databricks para la plataforma de datos predictivos, incluyendo monitoreo, alertas y respuesta a incidentes en todos los flujos de datos de producción. - Mantener y reportar métricas de rendimiento SLA para la entrega de pipelines de datos, asegurando la visibilidad del estado de la plataforma y la rendición de cuentas entre las partes interesadas internas y externas. - Identificar e implementar optimizaciones de pipelines que reduzcan los costos de cómputo de Databricks, mejoren el rendimiento y reduzcan las ventanas de procesamiento, mientras se rastrean los impactos a través de KPIs medibles. - Migrar pipelines ETL/ELT heredados a Databricks, construyendo herramientas de automatización para reducir la intervención manual y garantizar la entrega ininterrumpida de datos durante las transiciones. - Apoyar la incorporación de nuevos clientes mediante el aprovisionamiento, la validación y el fortalecimiento de pipelines de datos de inquilinos que entregan datos confiables y aislados desde el primer día. - Diseñar y construir pipelines de Databricks de alto rendimiento que ingieren, transforman y sirven datos de ERP y CRM a escala en entornos Azure y AWS. - Ser responsable de la arquitectura Delta Lake, incluyendo diseño de esquemas, estrategias de partición, aplicación de calidad de datos y patrones de procesamiento incremental. - Aplicar las mejores prácticas de seguridad de datos en entornos Databricks, incluyendo control de acceso basado en roles, gestión de secretos y requisitos de cumplimiento para datos empresariales de CRM y ERP. - Implementar monitoreo de calidad de datos y observabilidad en el estado del pipeline y las entradas del modelo de ML, asegurando la integridad de los datos que respaldan directamente la precisión de la predicción del modelo. - Aplicar y hacer cumplir patrones de aislamiento de datos multi-inquilino, asegurando una entrega de datos confiable y segura para clientes empresariales. - Colaborar con el equipo de Arquitectura Empresarial para garantizar que los pipelines de datos se integren sin problemas con el ecosistema de productos más amplio. - Apoyar una operación distribuida globalmente a través de rotación de guardia y respuesta a incidentes fuera del horario laboral, cumpliendo los SLA en múltiples zonas horarias. - Mantener documentación técnica, runbooks y registros de decisiones arquitectónicas, contribuyendo al intercambio de conocimientos del equipo y la preparación operativa para escenarios de guardia y respuesta a incidentes. - Aplicar las mejores prácticas de CI/CD al desarrollo de pipelines de datos, incluyendo control de versiones, pruebas automatizadas y herramientas de implementación para garantizar una entrega de pipelines confiable y repetible. Requisitos: - Más de 4 años de experiencia en ingeniería de datos. - Al menos 2 años en Databricks o el ecosistema Apache Spark en Azure y/o AWS. - Dominio de PySpark, SQL y Python con un sólido historial en la construcción y operación de pipelines de calidad de producción bajo restricciones SLA. - Experiencia práctica con Delta Lake, incluyendo evolución de esquemas, transacciones ACID, ciclo de vida optimize/vacuum, y patrones de procesamiento incremental y de streaming. - Experiencia práctica en ajuste de rendimiento de pipelines y optimización de cómputo en entornos de producción de Databricks. - Sólido conocimiento práctico de PostgreSQL, incluyendo optimización de consultas, diseño de esquemas y uso como fuente o destino en pipelines de datos de producción. - Experiencia en el soporte y mantenimiento de herramientas ETL heredadas (SSIS, Informatica, pipelines personalizados de Python/SQL o similares) en producción. - Experiencia en el soporte de arquitecturas multi-inquilino a gran escala con enfoque en aislamiento de inquilinos, rendimiento por inquilino y privacidad de datos, incluyendo la navegación por herramientas y plataformas que asumen por defecto configuraciones de un solo inquilino. - Capacidad probada para trabajar en colaboración con equipos de Data Science, Producto e Infraestructura, asumiendo la entrega de extremo a extremo en un entorno multifuncional. - Fuerte comprensión de los principios de gobernanza de datos, seguridad y cumplimiento, incluyendo control de acceso, privacidad de datos y protección de datos empresariales sensibles en entornos multi-inquilino. Calificaciones / Experiencia Preferidas: - Experiencia operando espacios de trabajo de Databricks en Azure y AWS, incluyendo gobernanza de costos, gestión de clústeres y acceso a datos multi-nube. - Experiencia optimizando cargas de trabajo de Databricks en un entorno Serverless, incluyendo gobernanza de costos de cómputo y ajuste de rendimiento para cómputo serverless. - Experiencia con Microsoft SQL Server en un contexto de ingeniería de datos o ETL. - Exposición a la ingeniería de características de ML o feature stores (Databricks Feature Store, Feast o similar) que soportan análisis predictivos. - Experiencia con automatización de incorporación de clientes o patrones de IaC para aprovisionar pipelines de datos de inquilinos a escala. - Certificación Databricks Certified Data Engineer Associate o Professional.
Responsabilidades
- Soporte de producción de Databricks para la plataforma de datos predictiva
- Mantenimiento y reporte de métricas SLA
- Identificación e implementación de optimizaciones de pipelines
- Migración de pipelines ETL/ELT legacy a Databricks
- Soporte a la incorporación de nuevos clientes
- Diseño y construcción de pipelines Databricks de alto rendimiento
- Gestión de la arquitectura Delta Lake
- Aplicación de mejores prácticas de seguridad de datos
- Implementación de monitoreo de calidad de datos
- Aplicación de patrones de aislamiento de datos multi-tenant
- Colaboración con el equipo de Arquitectura Empresarial
- Soporte a operación global con rotación on-call
- Mantenimiento de documentación técnica
- Aplicación de mejores prácticas CI/CD
Habilidades
Gestión de pipelines de datosMonitoreo y respuesta a incidentesOptimización de costos de cómputoMigración de ETL/ELTAutomatizaciónDiseño de arquitecturas de datosGestión de Delta LakeSeguridad de datosMonitoreo de calidad de datosAislamiento de datos multi-tenantColaboración interfuncionalGobernanza de datosSeguridad y cumplimientoProactividadOrientación a resultadosTrabajo en equipoComunicación