Senior Python Data Scraping Engineer

Mindrift busca especialistas en Vibecode altamente calificados para unirse al proyecto Tendem (https://tendem.ai/) y potenciar flujos de trabajo especializados de extracción de datos para casos de uso del mundo real.

Buscamos Ingenieros Senior de Python para Extracción de Datos con gran experiencia para unirse al proyecto Tendem y potenciar flujos de trabajo especializados de extracción de datos para aplicaciones del mundo real. En este rol, aplicarás tu experiencia en web scraping, extracción y procesamiento de datos para entregar resultados precisos, confiables y de alta calidad. Esta oportunidad remota a tiempo parcial es ideal para profesionales técnicos con experiencia práctica en web scraping, extracción y procesamiento de datos.

Qué Hacemos

La plataforma Mindrift conecta especialistas con proyectos de tecnología innovadores. Nuestra misión es ayudar a desarrollar tecnologías de IA de alta calidad combinando la experiencia del mundo real de profesionales de todo el mundo con esfuerzos avanzados de desarrollo de IA.

Sobre el Rol

Este es un rol freelance para un proyecto de Tendem. Como Ingeniero Senior de Python para Extracción de Datos, manejarás tareas de extracción de datos que requieren precisión técnica para la extracción y el procesamiento web, utilizando herramientas como Apify, OpenRouter y otras tecnologías, junto con tu propia experiencia y enfoques técnicos.

Responsabilidades Clave

• Liderar flujos de trabajo de extracción de datos de extremo a extremo en sitios web complejos, asegurando una cobertura completa, precisión y entrega confiable de conjuntos de datos estructurados.
• Aprovechar las herramientas disponibles y los flujos de trabajo personalizados para acelerar la recopilación, validación y ejecución de tareas de datos, cumpliendo con los requisitos definidos.
• Asegurar la extracción confiable de fuentes web dinámicas e interactivas, adaptando los enfoques según sea necesario para manejar contenido renderizado por JavaScript y cambios en el comportamiento del sitio.
• Aplicar estándares de calidad de datos a través de verificaciones de validación, controles de consistencia entre fuentes, cumplimiento de especificaciones de formato y verificación sistemática antes de la entrega.
• Escalar las operaciones de scraping para grandes conjuntos de datos utilizando procesamiento por lotes o paralelización eficientes, monitorear fallos y mantener la estabilidad frente a cambios menores en la estructura del sitio.

Cualificaciones Educativas

• Al menos 5 años de experiencia relevante en ingeniería de datos, web scraping, automatización o desarrollo de software (requerido).
• Título de Grado o Maestría en Ingeniería, Matemáticas Aplicadas, Ciencias de la Computación o campos técnicos relacionados es un plus.

Experiencia Académica y/o Profesional

Los candidatos deben tener una sólida base técnica y experiencia práctica con scripting, automatización y flujos de trabajo de extracción de datos. Buscamos especialistas que puedan resolver problemas no triviales, trabajar con confianza con herramientas y tecnologías de desarrollo modernas, y recopilar, estructurar y validar datos de diversas fuentes de manera sistemática. Un enfoque metódico y detallado, y la capacidad de trabajar de forma independiente son esenciales.

Habilidades Técnicas (Esenciales)

• Fuerte experiencia en web scraping con Python (BeautifulSoup, Selenium o similar), incluyendo contenido dinámico (JS, AJAX, scroll infinito) y APIs a través de proxies.
• Capacidad probada para extraer datos de estructuras complejas (jerarquías, páginas archivadas, HTML inconsistente).
• Sólida experiencia en limpieza, normalización y validación de datos, entregando conjuntos de datos estructurados (CSV, JSON, Google Sheets).

Requisitos Adicionales

• Experiencia demostrada en el manejo de mecanismos anti-bots y estructuras de sitios dinámicos a escala.
• Experiencia con infraestructura en la nube (AWS o equivalente) y contenedores (Docker) como parte de flujos de trabajo reales.
• Experiencia práctica con frameworks de LLM (LangChain, OpenRouter o similar) aplicados a tareas de automatización.
• Gran atención al detalle y compromiso con la precisión de los datos.
• Ética de trabajo autodirigida con capacidad para solucionar problemas de forma independiente.
• Un enlace a GitHub es un plus.
• Dominio del inglés: Intermedio-alto (B2) o superior (requerido).

Expectativas de Tiempo del Proyecto

Para este proyecto, se estima que las tareas requerirán entre 10 y 20 horas por semana durante las fases activas, según los requisitos del proyecto. Esta es una estimación, no una carga de trabajo garantizada, y se aplica solo mientras el proyecto esté activo.

Compensación

En este proyecto, los colaboradores pueden ganar hasta el equivalente a $25 por hora, dependiendo de su nivel y ritmo de contribución. La compensación varía entre proyectos según el alcance, la complejidad y la experiencia requerida. Tenga en cuenta que otros proyectos en la plataforma pueden ofrecer diferentes niveles de ganancias según sus requisitos.