Data Engineer

Se busca Data Engineer para liderar la migración de ETL y lógica de reconciliación de datos desde Talend a Snowflake, incluyendo la creación de modelos DBT y funciones Snowpark.

Descripción del puesto

Solvd Inc. es una empresa de consultoría y servicios de tecnología en crecimiento acelerado, nativa de inteligencia artificial, que brinda transformación empresarial en torno a la nube, datos, ingeniería de software e inteligencia artificial. Trabajamos con organizaciones líderes en la industria para diseñar, construir y operativizar soluciones tecnológicas que impulsan resultados comerciales medibles. Tras la adquisición de Tooploox, una destacada empresa de desarrollo de productos y soluciones de inteligencia artificial, Solvd ahora ofrece una entrega integral de extremo a extremo, desde asesoramiento estratégico y diseño de soluciones hasta desarrollo de inteligencia artificial personalizada e implementación a escala empresarial. Nuestros centros de capacidad combinan experiencia técnica profunda, metodologías de entrega comprobadas y conocimiento específico del sector para abordar desafíos comerciales complejos de manera rápida y efectiva. Estamos buscando un ingeniero de datos experimentado que se haga cargo de la corriente de trabajo más compleja en una participación de migración de Snowflake a gran escala: replicar fielmente toda la lógica de ETL y reconciliación de datos de una pila de Talend heredada en herramientas nativas de Snowflake (dbt y Snowpark). Se trata de un trabajo técnico profundo y práctico: convertir cientos de trabajos de transformación, validar cada resultado y construir la infraestructura de calidad de datos de la que depende el resto de la plataforma. Si eres el tipo de ingeniero que obtiene satisfacción de hacer que las canalizaciones heredadas sean limpias, correctas y observables, esta es tu oportunidad. Qué harás - Migración y conversión - Inventariar y documentar todos los trabajos de Talend existentes, la lógica de transformación y las reglas de reconciliación. - Operar el agente de migración de Datafold para la migración automática masiva donde sea compatible. - Convertir manualmente trabajos de ETL que no se pueden automatizar y validar la corrección de cada uno. - Programar en pareja con herramientas de inteligencia artificial para acelerar la conversión, revisando, corrigiendo y validando la salida generada por inteligencia artificial. - Construcción nativa de Snowflake - Construir modelos de DBT y funciones de Snowpark para reemplazar trabajos de Talend heredados. - Implementar validación automática de datos que detecte problemas de calidad y completitud a través de un panel de dashboard de Streamlit. - Construir una herramienta de diagnóstico para probar la salud de toda la pila de software y la conectividad de datos de extremo a extremo. - Documentación y genealogía - Documentar todos los cambios en la lógica de ETL a lo largo de la migración. - Mantener actualizada la documentación de genealogía de datos para toda la canalización. Qué aportas - 5+ años de experiencia en ingeniería de datos con desarrollo de ETL práctico y migración. - Conocimiento práctico de dbt y patrones de transformación basados en SQL. - Experiencia con Snowflake como plataforma de datos principal. - Experiencia con Snowpark (Python o Java) para lógica de transformación personalizada. - Exposición previa a herramientas de ETL heredadas similares a Talend (SSIS, Informatica, etc.). - Familiaridad con Datafold o herramientas de validación de migración y diferencia de datos similares. - Experiencia en la construcción de capas de monitoreo de calidad de datos o de observabilidad. - Comodidad para trabajar con herramientas de codificación de inteligencia artificial y revisar/validar código generado por inteligencia artificial. Cuando te unas a Solvd... - Dar forma a proyectos de inteligencia artificial impulsores del mundo real en industrias clave, trabajando con clientes desde la innovación de startups hasta la transformación empresarial. - Ser parte de un equipo global con igualdad de oportunidades para la colaboración a través de continentes y culturas. - Prosperar en un entorno inclusivo que prioriza el aprendizaje continuo, la innovación y los estándares éticos de inteligencia artificial. ¿Estás listo para generar un impacto? Si estás emocionado de construir cosas que importan, de defender la inteligencia artificial responsable y de crecer con algunas de las mentes más brillantes de la industria, ¡aplícala hoy mismo! Innovemos juntos. Solvd es un empleador con igualdad de oportunidades. Acepto el procesamiento de mis datos personales proporcionados en el proceso de reclutamiento por Solvd Inc., con su sede principal en 1646 N California Blvd, Suite 515, Walnut Creek, CA 94596, Estados Unidos, para el propósito de futuros procesos de reclutamiento. Puedes retirar tu consentimiento en cualquier momento; sin embargo, esto no afectará la legalidad del procesamiento realizado sobre esta base antes de tal retiro. El controlador de tus datos personales es Solvd Inc., con su sede principal en 1646 N California Blvd, Suite 515, Walnut Creek, CA 94596, Estados Unidos. Puedes encontrar más información sobre el procesamiento de tus datos personales en la Política de Privacidad.

Responsabilidades

• Migración de ETL
• Conversión de trabajos
• Validación de datos
• Creación de modelos DBT
• Implementación de validación de datos

Skills requeridas

Trabajos similares

Más ofertas de Solvd