Senior Python Data Scraping Engineer

Mindrift está buscando especialistas en Vibecode altamente calificados para unirse al proyecto Tendem (https://tendem.ai/) y llevar a cabo flujos de trabajo de scraping de datos especializados para casos de uso del mundo real. Mindrift está buscando Ingenieros de Scraping de Datos en Python Senior altamente calificados para unirse al proyecto Tendem y llevar a cabo flujos de trabajo de scraping de datos especializados para aplicaciones del mundo real. En este rol, aplicarás tu experiencia en web scraping, extracción de datos y procesamiento de datos para entregar resultados precisos, confiables y de alta calidad. Esta oportunidad remota a tiempo parcial es ideal para profesionales técnicos con experiencia práctica en web scraping, extracción y procesamiento de datos.

¿Qué hacemos?

La plataforma Mindrift conecta a especialistas con proyectos tecnológicos innovadores. Nuestra misión es ayudar a desarrollar tecnologías de IA de alta calidad combinando la experiencia del mundo real de profesionales de todo el mundo con esfuerzos avanzados de desarrollo de IA.

Acerca del rol

Este es un rol freelance para el proyecto Tendem. Como Ingeniero de Scraping de Datos en Python Senior, manejarás tareas de scraping de datos que requieren precisión técnica para la extracción y procesamiento web, utilizando herramientas como Apify, OpenRouter y otras tecnologías, junto con tu propia experiencia técnica y enfoques.

Responsabilidades clave

• Poseer flujos de trabajo de extracción de datos de extremo a extremo a través de sitios web complejos, asegurando cobertura completa, precisión y entrega confiable de conjuntos de datos estructurados.
• Aprovechar las herramientas disponibles y flujos de trabajo personalizados para acelerar la recolección de datos, validación y ejecución de tareas mientras se cumplen los requisitos definidos.
• Asegurar una extracción confiable de fuentes web dinámicas e interactivas, adaptando enfoques según sea necesario para manejar contenido renderizado por JavaScript y cambios en el comportamiento del sitio.
• Hacer cumplir los estándares de calidad de datos a través de controles de validación, controles de consistencia entre fuentes, adherencia a especificaciones de formato y verificación sistemática antes de la entrega.
• Escalar operaciones de scraping para grandes conjuntos de datos utilizando procesamiento por lotes o paralelización, monitorear fallos y mantener la estabilidad ante cambios menores en la estructura del sitio.

Calificaciones educativas

• Al menos 5 años de experiencia relevante en ingeniería de datos, web scraping, automatización o desarrollo de software (requerido).
• Título de Licenciatura o Maestría en Ingeniería, Matemáticas Aplicadas, Ciencias de la Computación o campos técnicos relacionados es un plus.

Experiencia académica y/o profesional

Los candidatos deben tener una sólida base técnica y experiencia práctica con scripting, automatización y flujos de trabajo de extracción de datos. Buscamos especialistas que puedan resolver problemas no triviales, trabajar con confianza con herramientas y tecnologías de desarrollo modernas, y recopilar, estructurar y validar datos de diversas fuentes de manera sistemática. Un enfoque metódico y orientado a los detalles, así como la capacidad de trabajar de forma independiente, son esenciales.

Habilidades técnicas (esenciales)

• Fuerte experiencia en web scraping con Python (BeautifulSoup, Selenium o similar), incluyendo contenido dinámico (JS, AJAX, desplazamiento infinito) y APIs a través de proxies.
• Comprobada capacidad para extraer datos de estructuras complejas (jerarquías, páginas archivadas, HTML inconsistente).
• Sólida experiencia en limpieza, normalización y validación de datos, entregando conjuntos de datos estructurados (CSV, JSON, Google Sheets).

Requisitos adicionales

• Experiencia demostrada manejando mecanismos anti-bot y estructuras de sitios dinámicos a gran escala.
• Experiencia con infraestructura en la nube (AWS o equivalente) y contenedorización (Docker) como parte de flujos de trabajo reales.
• Experiencia práctica con marcos de LLM (LangChain, OpenRouter o similar) aplicados a tareas de automatización.
• Fuerte atención al detalle y compromiso con la precisión de los datos.
• Ética de trabajo autodirigida con capacidad para solucionar problemas de forma independiente.
• Un enlace a GitHub es un plus.
• Dominio del inglés: intermedio alto (B2) o superior (requerido).

Expectativas de tiempo del proyecto

Para este proyecto, se estima que las tareas requerirán alrededor de 10 a 20 horas por semana durante las fases activas, según los requisitos del proyecto. Esta es una estimación, no una carga de trabajo garantizada, y se aplica solo mientras el proyecto esté activo.

Compensación

En este proyecto, los colaboradores pueden ganar hasta $25 por hora, dependiendo de su nivel y ritmo de contribución. La compensación varía entre proyectos según el alcance, la complejidad y la experiencia requerida. Ten en cuenta que otros proyectos en la plataforma pueden ofrecer diferentes niveles de ganancias según sus requisitos.