Directo de la empresahace 9 días
Senior Data Architect - Databricks Platform
Caylent
Remoto · Tiempo completo
Senior6+ años
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Empresa de servicios cloud busca un Arquitecto de Datos Senior con experiencia en Databricks y AWS para diseñar y asegurar plataformas de datos a escala empresarial. El rol es 100% remoto y paga en USD.
Por qué aplicar
Si sos un arquitecto de datos senior con experiencia en Databricks y AWS, este puesto remoto te permite diseñar plataformas de datos a escala empresarial. Es una gran oportunidad para trabajar en una empresa líder en servicios cloud que paga en USD.
Descripción del puesto
Caylent es una empresa de servicios en la nube, pionera en IA, que ayuda a las organizaciones a convertir ideas ambiciosas en un impacto comercial significativo. Como AWS Premier Tier Services Partner y miembro fundador de la Claude Partner Network de Anthropic, combinamos una profunda experiencia en AWS, inteligencia artificial y la plataforma Claude de Anthropic para ayudar a los clientes a modernizar su tecnología, crear productos inteligentes y llevar la IA de la experimentación a la producción. Nuestras capacidades abarcan IA generativa y agentiva, migración y modernización de la nube, desarrollo de aplicaciones cloud-native, datos y analítica, DevOps, servicios gestionados, seguridad y cumplimiento, y transformación de la experiencia del cliente. En Caylent, nuestra gente siempre es lo primero. Somos una empresa global totalmente remota con empleados en Canadá, Estados Unidos y América Latina. Celebramos la cultura de cada uno de nuestros miembros y fomentamos una comunidad de curiosidad tecnológica. ¡Ven a hablar con nosotros para saber más sobre lo que significa ser un Caylien! **La Misión** Arquitecto responsable de diseñar y fortalecer plataformas de datos Databricks a escala empresarial dentro de compromisos con clientes — construyendo las barreras de seguridad, automatización y estándares que permiten a un número creciente de equipos de negocio construir de forma segura sobre la plataforma sin que esta colapse en un "click-ops" no gestionado. Los arquitectos mantienen una profundidad principal en un área central (Desarrollo de Plataformas de Datos o Migración y Modernización de Datos) mientras mantienen la conciencia arquitectónica en ambas. Se espera profundidad en Databricks independientemente del área de enfoque. **Tus Cualificaciones** **Responsabilidades Clave:** - Liderar el diseño arquitectónico para plataformas de datos basadas en Databricks o programas de modernización, incluyendo consolidación de workspaces, modelos de permisos/roles y patrones de configuración como código. - Diseños de plataforma Databricks alineados con los patrones de arquitectura de mejores prácticas de AWS (ya que somos centrados en AWS). - Diseño de pipelines de streaming batch y en tiempo real de alto volumen utilizando PySpark y Structured Streaming (también conocido como Apache Spark). - Diseño e integración del Unity Catalog de Databricks con repositorios de metadatos de terceros (ej. AWS Glue Catalog, Snowflake Horizon). - Diseñar e implementar automatización (ConfigOps), CI/CD y patrones de barreras de seguridad que permitan a los equipos de negocio extender la plataforma de forma segura sin comprometer la gobernanza. - Construir y mantener productos de datos certificados, una capa semántica y exposición de linaje/metadatos para que la plataforma pueda soportar casos de uso tanto de autoservicio como, eventualmente, impulsados por agentes. - Asegurar la viabilidad técnica, escalabilidad y preparación para producción de los componentes de la plataforma. - Comunicar claramente las decisiones arquitectónicas y los trade-offs tanto a stakeholders técnicos como de negocio; producir documentación arquitectónica, evaluaciones y roadmaps. - Colaborar con los equipos de negocio y de ingeniería del cliente para comprender las necesidades de casos de uso upstream y traducirlas en capacidades y barreras de seguridad de la plataforma, en lugar de trabajar a partir de requisitos entregados de segunda mano. **Cualificaciones Técnicas Requeridas** *Enfoque en Arquitectura de Plataforma:* - Diseño de arquitectura de plataforma de datos moderna de extremo a extremo (lakehouse, ingesta, procesamiento, capas de acceso). - Experiencia práctica en Databricks: arquitectura de workspace/roles, Unity Catalog, patrones de lakehouse, orquestación de trabajos y herramientas de gobernanza nativas (patrones de plataforma de datos gobernada, linaje, controles de acceso y mantenimiento de metadatos de negocio, técnicos y de cumplimiento), ajuste y optimización de configuraciones de Spark, clusters y almacenamiento Delta Lake. - Experiencia en arquitectar sistemas cloud-native escalables (AWS). - Arquitecturas avanzadas de procesamiento distribuido y streaming. - Seguridad de plataforma, redes y automatización. - Estimación de costos y optimización de rendimiento. *Enfoque en Arquitectura de Migración y Modernización:* - Liderazgo de iniciativas de migración y modernización de bases de datos múltiples, incluyendo hacia Databricks. - Profunda experiencia en diseño de sistemas OLTP/OLAP y evolución de esquemas. - Patrones avanzados de ajuste de rendimiento, alta disponibilidad/recuperación ante desastres (HA/DR) y seguridad. - Arquitectura de bases de datos cloud-native a través de servicios gestionados. - Estrategia de migración, planificación de cutover y mitigación de riesgos. *En Ambas:* - Documentación de arquitectura y aplicación de estándares. - Estrategia de Infraestructura como Código (IaC) y automatización (Terraform). - Diseño alineado con FinOps, incluyendo capacidad para auditar y optimizar el gasto en infraestructura en la nube. - Capacidad para liderar y facilitar discusiones técnicas entre stakeholders clave de negocio, tecnología y conocimiento. - Capacidad para desarrollar roadmaps de Databricks y roadmaps de implementación. - Experiencia en liderar, desarrollar y mentorizar equipos de entrega. **Requisitos de Experiencia** - Más de 6 años en roles de ingeniería de datos, ingeniería de bases de datos o arquitectura. - Más de 3 años diseñando soluciones de datos basadas en la nube. - Más de 3 años en el panorama de datos de AWS. - Se requieren más de 3 años de experiencia práctica en Databricks. - Alto conocimiento de negocio — cómodo trabajando directamente con stakeholders de negocio del cliente para comprender sus datos y prioridades, y traducirlos en capacidades de plataforma gobernadas y bien documentadas. - Inglés avanzado (mínimo C1). **Beneficios** - Pago en USD. - Trabajo 100% remoto, desde casa o en un espacio de trabajo compartido. - Generosos días festivos y PTO flexible ilimitado. - Pago por exámenes y certificaciones. - Bonos por desempeño entre pares. - Laptop y herramientas de última generación. - Estipendio para equipo y oficina. - Plan individual de desarrollo profesional. - Trabaja con un equipo mundial increíble y en una cultura corporativa excepcional. *Este rol puede requerir hasta un 25% de viajes, dependiendo de las necesidades del negocio.* *NOTA: No podemos ofrecer patrocinio de visa ahora ni en el futuro.* En Caylent, estamos comprometidos con prácticas de contratación justas, transparentes e inclusivas. Como parte de nuestro proceso de reclutamiento, podemos utilizar herramientas de inteligencia artificial (IA) o sistemas automatizados para ayudar en la selección y evaluación de solicitudes, ayudando a emparejar las calificaciones de los candidatos con los requisitos del puesto. Estas herramientas están diseñadas para apoyar, no reemplazar, la toma de decisiones humanas. Las decisiones finales de contratación siempre son tomadas por nuestros profesionales de reclutamiento capacitados. Si se utiliza una herramienta de IA o automatizada durante tu proceso de solicitud, solo será de acuerdo con las leyes y regulaciones aplicables, y tu información se manejará de manera segura y confidencial. Si tienes alguna pregunta, por favor contacta a [email protected]. **Caylent es un lugar donde todos pertenecen**. Celebramos la diversidad y estamos comprometidos a crear un entorno inclusivo para todos los empleados. Nuestro enfoque nos ayuda a construir un equipo ganador que representa una variedad de orígenes, perspectivas y habilidades. Por lo tanto, independientemente de cómo se exprese tu diversidad, puedes encontrar un hogar aquí en Caylent. Estamos orgullosos de ser un empleador que ofrece igualdad de oportunidades. Prohibimos la discriminación y el acoso de cualquier tipo por motivos de raza, color, religión, origen nacional, sexo (incluido el embarazo), orientación sexual, identidad de género, expresión de género, edad, condición de veterano, información genética, discapacidad u otras características legalmente protegidas aplicables. Si deseas solicitar una adaptación debido a una discapacidad, por favor contáctanos en [email protected].
Responsabilidades
- Diseñar y asegurar plataformas de datos Databricks a escala empresarial
- Construir guardarraíles, automatización y estándares para la plataforma
- Diseñar pipelines de datos batch y en tiempo real
- Integrar Databricks Unity Catalog con repositorios de metadatos de terceros
- Diseñar e implementar automatización (ConfigOps), CI/CD y patrones de guardarraíl
- Construir y mantener productos de datos certificados, capa semántica y linaje/metadatos
- Asegurar la viabilidad técnica, escalabilidad y preparación para producción de componentes de la plataforma
- Comunicar decisiones arquitectónicas y trade-offs a stakeholders técnicos y de negocio
- Asociarse con equipos de negocio y de ingeniería del cliente para entender necesidades y traducirlas en capacidades de plataforma
- Liderar discusiones técnicas y desarrollar roadmaps de implementación
Habilidades
Diseño de arquitecturas de datosGestión de plataformas de datosMigración y modernización de datosDiseño de pipelines de datos batch y streamingIntegración de catálogos de datosAutomatización de infraestructura (IaC)CI/CDSeguridad de plataformasOptimización de costosDocumentación de arquitecturaLiderazgo técnicoComunicación con stakeholders técnicos y de negocioAlta visión de negocioCapacidad de liderazgoFacilitación de discusiones técnicas
Beneficios
- Pago en USD
- 100% remoto
- Vacaciones generosas y PTO ilimitado
- Pago por exámenes y certificaciones
- Bonos por compañeros
- Laptop y herramientas de última generación
- Estipendio para equipamiento y oficina
- Plan de desarrollo profesional individual
- Trabajo con equipo mundial y cultura corporativa increíble