Senior/Lead Data Engineer – AI-Native Aftermarket Platform

Se busca un Data Engineer senior o lead para diseñar, construir y escalar pipelines de datos críticos para una plataforma innovadora de aftermarket impulsada por inteligencia artificial. Responsable de asegurar la calidad de los datos, implementar soluciones de data stack modernas y liderar técnicamente al equipo.

Descripción del puesto

Sobre Truelogic En Truelogic somos un proveedor líder de servicios de aumento de personal nearshore con sede en Nueva York. Durante más de dos décadas, hemos estado entregando soluciones tecnológicas de primer nivel a empresas de todos los tamaños, desde startups innovadoras hasta líderes de la industria, ayudándoles a alcanzar sus objetivos de transformación digital. Nuestro equipo de más de 600 profesionales tecnológicos altamente capacitados, con sede en América Latina, impulsa la disrupción digital al asociarse con empresas estadounidenses en sus proyectos más impactantes. Ya sea colaborando con gigantes de Fortune 500 o escalando startups, entregamos resultados que marcan la diferencia. Al postularse para esta posición, está dando el primer paso para unirse a un equipo dinámico que valora su experiencia y aspiraciones. Nuestro objetivo es alinear sus habilidades con oportunidades que fomenten un crecimiento profesional excepcional y el éxito, mientras contribuye a proyectos transformadores que moldean el futuro. Nuestro cliente Empresa de software con respaldo de inteligencia artificial bien financiada que construye una plataforma conectada que maximiza el mercado de posventa de equipos globales para OEM, concesionarios y flotas. Respaldada por un incubador de inteligencia artificial de primer nivel y una empresa líder de fabricación de vehículos pesados, entregan información impulsada por aprendizaje automático para optimizar el inventario, el servicio y las ventas. Resumen del trabajo Estamos buscando un ingeniero de datos altamente capacitado y motivado para construir, mantener y escalar las canalizaciones de datos críticas que impulsan una plataforma nativa de inteligencia artificial. En este rol, diseñará arquitecturas robustas, garantizará la calidad de los datos y implementará soluciones de pila de datos modernas para impulsar modelos de aprendizaje automático de alto impacto y análisis. El candidato ideal es un experto en modelado de datos y ingeniería de Python que prospera en un entorno colaborativo, demostrando la profundidad técnica para poseer canalizaciones complejas de extremo a extremo y la capacidad de liderazgo para asesorar a pares, establecer estándares arquitectónicos y impulsar la estrategia de datos general del equipo. Responsabilidades - Diseñar y construir canalizaciones de datos robustas e idempotentes desde cero utilizando una pila de datos moderna. - Diseñar esquemas en estrella y en copo de nieve, escribiendo SQL preciso y consciente del grano para construir almacenes de datos escalables. - Escribir código Python de producción, probado en módulo, adhiriéndose a disciplinas de ingeniería sólidas como sugerencias de tipo y pruebas. - Construir y probar modelos dbt en capas de preparación, intermedia y de almacén, mientras se gestiona la estructura general del proyecto. - Autorizar e implementar trabajos utilizando paquetes de activos de Databricks (DAB) siguiendo patrones arquitectónicos documentados. - Implementar controles de calidad de datos rigurosos en las capas de origen, intermedia y de destino para evitar caídas silenciosas de nulos o duplicados. - Mantener la gobernanza de datos a través de pruebas dbt integrales y disciplina de documentación estricta en el momento de la fusión. - Operar de manera segura dentro de una arquitectura de múltiples repositorios, utilizando principios de servicio y garantizando cero credenciales personales en implementaciones de producción. - Ejecutar comprobaciones de exposición entre repositorios antes de fusionar cambios que rompan esquemas. - Poseer canalizaciones de datos de extremo a extremo, tomando decisiones técnicas clave y asesorando a ingenieros de nivel medio a través de revisiones de código sustantivas. - Definir la dirección técnica general en sistemas de datos centrales, incluyendo estándares de modelado, estrategias de ramificación, umbrales de observabilidad y políticas de gestión de secretos. - Actuar como líder técnico para desbloquear al equipo y participar activamente en paneles de contratación para escalar la organización de ingeniería. Calificaciones y requisitos del trabajo - Experiencia en SQL y metodologías de modelado dimensional, incluyendo arquitectura de medallón, SCD y gestión de grano. - Capacidad demostrada para diseñar canalizaciones idempotentes utilizando estrategias incrementales, de punto de control y de reemplazo. - Experiencia amplia con ingeniería de Python de producción, incluyendo sugerencias de tipo, pytest y ruff. - Capacidad sólida para diagnosticar y resolver trabajos Spark / PySpark fallidos utilizando herramientas como Spark UI. - Comprensión profunda de las características de Delta Lake como MERGE, OPTIMIZE, Z-ORDER y viaje en el tiempo. - Experiencia práctica con dbt, incluyendo modelos, pruebas y exposiciones. - Experiencia autorizando e implementando trabajos utilizando paquetes de activos de Databricks (DAB) y operando dentro de un entorno de Catálogo de Unity. - Compromiso con la calidad de los datos a través de afirmaciones previas a la escritura, comprobaciones de esquema y mantenimiento de pruebas de relación y unicidad dbt. - Adherencia estricta a flujos de trabajo de Git disciplinados, compromisos convencionales y prácticas de documentación estrictas. - Experiencia aprovisionando y utilizando principios de servicio, secretos de entorno de GitHub y herramientas de gestión de secretos como Azure Key Vault o ámbitos de secretos de Databricks. - Habilidades sólidas de comunicación técnica escrita para descripciones de PR y runbooks, con la capacidad de traducir el trabajo de canalización en métricas comerciales. - Capacidad demostrada para tomar decisiones para navegar la ambigüedad y equilibrar las compensaciones entre costo, latencia y confiabilidad. - Experiencia liderando iniciativas técnicas, estableciendo estándares arquitectónicos y contribuyendo a rubricas de entrevistas es preferible. - Experiencia leyendo o modificando canalizaciones de Azure Data Factory (ADF) y familiaridad con el almacenamiento de Azure Data Lake es altamente preferible. - Familiaridad con herramientas de observabilidad dbt, como Elementary, es una ventaja. - Conocimiento de las mejores prácticas de detección y enmascaramiento de PII es preferible. - Experiencia con patrones de configuración de múltiples inquilinos para incorporar nuevos inquilinos sin cambios de código es una gran ventaja. - Competencia en leer y editar flujos de trabajo de GitHub Actions para la implementación de Databricks es preferible. - Capacidad para tomar decisiones informadas sobre el costo, seleccionando la forma de clúster adecuada por carga de trabajo, es una ventaja. - Competencia en herramientas de desarrollo asistido por IA como Claude Code para el trabajo diario y la revisión de código es preferible. - Experiencia escribiendo postmortems de incidentes y coordinando la entrega de características con equipos de ciencia de datos es una ventaja. Qué ofrecemos - Trabajo 100% remoto: Disfrute de la libertad de trabajar desde la ubicación que lo ayuda a prosperar. Todo lo que necesita es una laptop y una conexión a Internet confiable. - Pago competitivo en USD: Gane una compensación excelente y líder en el mercado en USD, que supera las ofertas típicas del mercado. - Tiempo libre remunerado: Valoramos su bienestar. Nuestras políticas de tiempo libre remunerado garantizan que tenga la oportunidad de relajarse y recargar energías cuando sea necesario. - Trabajo con autonomía: Disfrute de la libertad de gestionar su tiempo siempre y cuando el trabajo se complete. Concéntrese en los resultados, no en el reloj. - Trabajo con empresas estadounidenses líderes: Desarrolle su experiencia trabajando en proyectos innovadores y de alto impacto con empresas líderes de la industria en EE. UU. Por qué le gustará trabajar aquí - Una cultura que lo valora: Priorizamos el bienestar y el equilibrio entre el trabajo y la vida personal, ofreciendo actividades de participación y fomentando equipos dinámicos para garantizar que prospere tanto personal como profesionalmente. - Red global diversa: Conéctese con más de 600 profesionales en 25+ países, expanda su red y colabore con un equipo multicultural de América Latina. - Trabajo en equipo con profesionales capacitados: Únase a fuerzas con talentos senior. Todos nuestros miembros del equipo son expertos experimentados, lo que garantiza que trabaje con los mejores en su campo. Postule ahora!

Responsabilidades

• Diseñar y construir pipelines de datos
• Liderar técnicamente al equipo
• Garantizar la calidad de los datos
• Implementar soluciones de data stack modernas

Skills requeridas

Beneficios

• Pago competitivo en USD
• 100% trabajo remoto
• Tiempo libre pagado
• Autonomía en el trabajo

Trabajos similares

Más ofertas de Truelogic