Senior Serverless Spark Migration Engineer

Senior Platform Engineer, Cloud Infrastructure

Tipo: Remoto (Brasil, México)

Cobertura: Horario del Pacífico (8:00 AM – 5:00 PM PST)

Acerca de Virtasant

Virtasant es una empresa global de servicios de tecnología y nube que ayuda a las organizaciones a modernizar, optimizar y construir a escala. Trabajamos con clientes empresariales en iniciativas complejas de nube, datos, infraestructura e IA, reuniendo una profunda experiencia técnica y entrega práctica.

Acerca del Rol

Buscamos un Ingeniero Senior de Migración de Spark Serverless para ayudar a modernizar una plataforma de datos empresarial a gran escala. Liderarás la migración de cargas de trabajo de Apache Spark en producción desde entornos locales (on-premise) de Hadoop/Spark a arquitecturas nativas de la nube y serverless en AWS y GCP. Este es un rol de ingeniería práctica que abarca la evaluación de cargas de trabajo, arquitectura, refactorización de aplicaciones, ejecución de migraciones, optimización de rendimiento, automatización y preparación para producción. El objetivo no es simplemente mover las cargas de trabajo existentes tal cual están (lift and shift). Determinarás la arquitectura de destino adecuada para cada carga de trabajo y establecerás patrones repetibles que eventualmente puedan soportar migraciones a una escala empresarial significativa.

Qué harás

• Liderar migraciones de cargas de trabajo Spark empresariales desde entornos locales a AWS y GCP.
• Evaluar aplicaciones Spark, clústeres, configuraciones, dependencias, flujos de datos y utilización de recursos.
• Determinar el enfoque de migración adecuado entre rehost, replatform, refactor, modernizar o retirar.
• Modernizar cargas de trabajo tradicionales basadas en clústeres para Spark serverless cuando sea apropiado.
• Diseñar e implementar arquitecturas utilizando tecnologías como AWS EMR Serverless, S3, Glue, Lake Formation, GCP Dataproc Serverless, GCS y BigQuery.
• Refactorizar aplicaciones legacy de PySpark/Scala/Spark SQL para portabilidad, escalabilidad y confiabilidad en la nube.
• Migrar cargas de trabajo desde entornos que utilizan Hadoop, HDFS, YARN, Hive y clústeres Spark locales.
• Solucionar problemas y optimizar cargas de trabajo Spark en partición, comportamiento de shuffle, joins, skew de datos, planes de ejecución, configuración de ejecutores, serialización y ejecución de SQL.
• Medir el rendimiento y optimizar cargas de trabajo serverless para rendimiento, confiabilidad y costo en la nube.
• Construir herramientas de migración reutilizables, automatización, plantillas y frameworks.
• Implementar CI/CD e Infraestructura como Código (IaC) utilizando herramientas como Terraform.
• Definir patrones de prueba, validación, corte (cutover), reversión (rollback), observabilidad y preparación para producción.
• Colaborar con equipos de Ingeniería de Datos, ML, Arquitectura de Nube, Ingeniería de Plataforma, DevOps/SRE, Seguridad, Gobernanza y FinOps.

Qué

buscamos

• Más de 8 años de experiencia en ingeniería de datos, sistemas distribuidos, ingeniería de nube o ingeniería de plataforma.
• Más de 5 años de experiencia práctica con Apache Spark en entornos empresariales.
• Sólida experiencia en desarrollo con PySpark y/o Scala.
• Experiencia comprobada en la migración de cargas de trabajo Spark a gran escala entre plataformas de infraestructura.
• Experiencia práctica tanto con AWS como con GCP.
• Experiencia con ecosistemas Hadoop/Spark locales, incluyendo tecnologías como HDFS, YARN y Hive.
• Profundo conocimiento de los internos de Spark y procesamiento distribuido.
• Sólidos fundamentos de SQL y ingeniería de datos.
• Experiencia con data lakes en la nube y almacenamiento de objetos.
• Fuerte experiencia en solución de problemas en producción y optimización de rendimiento.
• Experiencia con CI/CD, Git e Infraestructura como Código.
• Capacidad para hacerse cargo del trabajo de migración de principio a fin, desde el descubrimiento y la arquitectura hasta el corte en producción y la optimización.

Sería bueno tener

• Experiencia con EMR/EMR Serverless, Dataproc/Dataproc Serverless, Glue, Lake Formation, BigQuery, Delta Lake, Iceberg, Kafka, Airflow, Terraform, Docker o Kubernetes es valiosa.

Qué significa el éxito

• Puedes tomar posesión del ciclo de vida completo de la migración: Descubrir → Evaluar → Diseñar → Refactorizar → Migrar → Validar → Optimizar → Operar.
• Entiendes tanto el mundo legacy de Hadoop/Spark como las plataformas de datos nativas de la nube modernas, y puedes tomar decisiones arquitectónicas pragmáticas basadas en las características de la carga de trabajo, en lugar de simplemente reproducir un entorno existente en la nube.