Data Engineer

Particle41 busca un Data Engineer talentoso y versátil para unirse a su equipo innovador, diseñando y manteniendo tuberías de datos robustas y escalables para satisfacer las necesidades de datos de los clientes.

Descripción del puesto

Particle41 está buscando un talentoso y versátil Ingeniero de Datos para unirse a nuestro equipo innovador. Como Ingeniero de Datos, desempeñarás un papel clave en el diseño, construcción y mantenimiento de tuberías de datos e infraestructura robustos para satisfacer las necesidades de datos de nuestros clientes. Trabajarás en soluciones de datos de extremo a extremo, colaborando con equipos multifuncionales para garantizar la entrega de datos de alta calidad, escalables y eficientes. Esta es una oportunidad emocionante para contribuir a proyectos impactantes, resolver desafíos complejos de datos y crecer tus habilidades en un entorno dinámico y de apoyo. En este rol, realizarás: - Diseño, desarrollo y mantenimiento de tuberías ETL (Extraer, Transformar, Cargar) escalables para procesar grandes volúmenes de datos de diversas fuentes. - Construcción y optimización de soluciones de almacenamiento de datos, como lagos de datos y almacenes de datos, para garantizar una recuperación y procesamiento eficiente de datos. - Integración de datos estructurados y no estructurados de varios sistemas internos y externos para crear una visión unificada para análisis. - Aseguramiento de la precisión, consistencia y completitud de los datos a través de procesos rigurosos de validación, limpieza y transformación. - Mantenimiento de documentación integral para procesos de datos, herramientas y sistemas, promoviendo mejores prácticas para flujos de trabajo eficientes. Requisitos y análisis: - Colaboración con gerentes de producto y otras partes interesadas para recopilar requisitos y traducirlos en soluciones técnicas. - Participación en sesiones de análisis de requisitos para comprender las necesidades comerciales y los requisitos del usuario. - Proporcionar conocimientos técnicos y recomendaciones durante el proceso de recopilación de requisitos. Desarrollo ágil: - Participación en procesos de desarrollo ágil, incluyendo planificación de sprint, reuniones diarias y revisiones de sprint. - Trabajo en estrecha colaboración con equipos ágiles para entregar soluciones de software a tiempo y dentro del alcance. - Adaptación a prioridades y requisitos cambiantes en un entorno ágil de ritmo acelerado. Pruebas y depuración: - Realización de pruebas exhaustivas y depuración para garantizar la confiabilidad, seguridad y rendimiento de las aplicaciones. - Escritura de pruebas unitarias y validación de la funcionalidad de características desarrolladas y elementos individuales. - Escritura de pruebas de integración para garantizar que diferentes elementos dentro de una aplicación determinada funcionen como se pretende y cumplan con los requisitos deseados. - Identificación y resolución de defectos de software, código fraguante y cuellos de botella de rendimiento. Aprendizaje continuo e innovación: - Mantenimiento de la actualización con las últimas tecnologías y tendencias en desarrollo de pila completa. - Propuesta de soluciones innovadoras para mejorar el rendimiento, la seguridad, la escalabilidad y la capacidad de mantenimiento de las aplicaciones. - Búsqueda continua de oportunidades para optimizar y refactorizar el código base existente para una mejor eficiencia. - Mantenimiento de la actualización con plataformas en la nube como AWS, Azure o Google Cloud Platform. Colaboración: - Colaboración efectiva con equipos multifuncionales, incluidos probadores y gerentes de producto. - Fomento de un entorno de trabajo colaborativo e inclusivo donde se comparten y valoran las ideas. Habilidades y experiencia que valoramos: - Licenciatura en Ciencias de la Computación, Ingeniería o campo relacionado. - Experiencia comprobada como Ingeniero de Datos, con un mínimo de 3 años de experiencia. - Competencia en el lenguaje de programación Python. - Experiencia con tecnologías de bases de datos como SQL (por ejemplo, MySQL, PostgreSQL) y bases de datos NoSQL (por ejemplo, MongoDB). - Fuerte comprensión de bibliotecas/marcos de programación y tecnologías como Flask, marcos de API, principios de almacenamiento de datos/lago de datos, base de datos y ORM, análisis de datos, Databricks, Pandas, Spark, PySpark, Aprendizaje automático, OpenCV, scikit-learn. - Utilidades y herramientas: registro, solicitudes, subproceso, regex, pytest - Stack ELK, Redis, colas de tareas distribuidas - Fuerte comprensión de los principios de almacenamiento de datos/lago de datos y conceptos de procesamiento concurrente/paralelo. - Familiaridad con al menos una pila de ingeniería de datos en la nube (Azure, AWS o GCP) y la capacidad de aprender y adaptarse rápidamente a nuevas herramientas ETL/ELT en varios proveedores de nube. - Familiaridad con sistemas de control de versiones como Git y flujos de trabajo de desarrollo colaborativo. - Competencia para trabajar en el sistema operativo Linux y crear scripts de shell. - Fuerte comprensión de los principios de ingeniería de software, patrones de diseño y mejores prácticas. - Excelentes habilidades de resolución de problemas y análisis, con una gran atención al detalle. - Habilidades efectivas de comunicación, tanto escritas como verbales, y la capacidad de colaborar en un entorno de equipo. - Adaptabilidad y disposición para aprender nuevas tecnologías y herramientas según sea necesario. Acerca de Particle41 Nuestros valores fundamentales de Empoderamiento, Liderazgo, Innovación, Trabajo en equipo y Excelencia impulsan todo lo que hacemos para lograr los resultados finales para nuestros clientes. Empoderamiento Liderazgo para Innovación en Trabajo en equipo con Excelencia (ELITE) - E - Empoderamiento: Habilitar a las personas para alcanzar su máximo potencial. - L - Liderazgo: Tomar la iniciativa y guiar a los demás hacia el éxito. - I - Innovación: Aceptar la creatividad y las nuevas ideas para mantenerse adelante. - T - Trabajo en equipo: Colaborar con empatía para lograr objetivos comunes. - E - Excelencia: Esforzarse por la más alta calidad en todo lo que hacemos. Buscamos miembros del equipo que encarnen estos valores y estén comprometidos a contribuir a nuestra misión. Particle41 da la bienvenida a personas de todos los orígenes que estén comprometidas con nuestra misión y valores. Proporcionamos oportunidades de empleo iguales a todos los empleados y solicitantes, asegurando que las decisiones de contratación y empleo se basen en el mérito y las calificaciones sin discriminación por raza, color, religión, casta, edad, sexo, origen nacional, estado de discapacidad, genética, estado de veterano protegido, orientación sexual, identidad o expresión de género, o cualquier otra característica protegida por leyes federales, estatales, locales o internacionales. Esta política se aplica a todos los aspectos del empleo y la contratación. Agradecemos su interés y alentamos a los solicitantes de estas regiones a postular. Si necesita asistencia durante el proceso de solicitud o entrevista, no dude en hacérselo saber a [email protected]

Responsabilidades

• Diseñar y desarrollar tuberías de datos escalables
• Integrar datos de diversas fuentes
• Garantizar la precisión y completitud de los datos
• Colaborar con equipos de producto y stakeholders

Skills requeridas

Trabajos similares

Más ofertas de Particle41