Senior Python Data Scraping Engineer (Freelance)
Se busca Senior Python Data Scraping Engineer para un proyecto freelance en Mindrift. Responsabilidades incluyen manejo de flujos de extracción de datos, aprovechamiento de herramientas internas y customización de flujos de trabajo para asegurar precisión y entrega confiable de datasets estructurados.
Ideal para profesionales técnicos con experiencia en web scraping y procesamiento de datos. Ofrece la oportunidad de trabajar de forma remota y colaborar en proyectos de AI.
Descripción del puesto
Mindrift está buscando Ingenieros Senior de Extracción de Datos con Python altamente capacitados para unirse al proyecto Tendem y liderar flujos de trabajo de extracción de datos especializados dentro de nuestro sistema híbrido de IA + humanos. En este rol, como Piloto de IA - así es como nos referimos a este rol en Mindrift - colaborarás con Agentes de Tendem que manejan tareas repetitivas, mientras tú proporcionas pensamiento crítico, experiencia en el dominio y control de calidad para entregar resultados precisos y accionables. Esta oportunidad remota a tiempo parcial es ideal para profesionales técnicos con experiencia práctica en extracción de datos web, extracción y procesamiento de datos. Lo que hacemos: La plataforma de Mindrift conecta especialistas con proyectos de IA de importantes innovadores tecnológicos. Nuestra misión es desbloquear el potencial de la IA Generativa aprovechando la experiencia del mundo real de todo el mundo. Este es un rol freelance para un proyecto de Tendem. Como Ingeniero Senior de Extracción de Datos con Python, manejarás tareas de extracción de datos que requieren precisión técnica para la extracción y procesamiento web, utilizando diversas herramientas como Apify y OpenRouter proporcionadas por nosotros, junto con tus propios enfoques creativos. Responsabilidades clave: - Poseer flujos de trabajo de extracción de datos de extremo a extremo en sitios web complejos, asegurando la cobertura completa, la precisión y la entrega confiable de conjuntos de datos estructurados. - Aprovechar herramientas internas (Apify, OpenRouter) junto con flujos de trabajo personalizados para acelerar la recopilación de datos, la validación y la ejecución de tareas mientras se cumplen los requisitos definidos. - Asegurar la extracción confiable de fuentes web dinámicas e interactivas, adaptando enfoques según sea necesario para manejar contenido renderizado en JavaScript y cambios en el comportamiento del sitio. - Hacer cumplir los estándares de calidad de los datos a través de comprobaciones de validación, controles de consistencia entre fuentes, adherencia a especificaciones de formato y verificación sistemática antes de la entrega. - Escalar operaciones de extracción para grandes conjuntos de datos utilizando procesamiento por lotes eficiente o paralelización, monitorear fallas y mantener la estabilidad contra cambios menores en la estructura del sitio. Requisitos: - Al menos 5+ años de experiencia relevante en ingeniería de datos, extracción de datos web, automatización o desarrollo de software (requerido). - Licenciatura o Maestría en Ingeniería, Matemáticas Aplicadas, Ciencias de la Computación o campos técnicos relacionados es una ventaja. - Los candidatos deben tener una sólida base técnica y experiencia práctica con scripting, automatización y flujos de trabajo asistidos por IA. - Estamos buscando especialistas que puedan resolver problemas no triviales, trabajar con confianza con LLM y recopilar, estructurar y validar sistemáticamente datos de diversas fuentes. - Un enfoque metódico y detallado y la capacidad de trabajar de forma independiente son esenciales. - Fuerte experiencia en extracción de datos web con Python (BeautifulSoup, Selenium o similar), incluido contenido dinámico (JS, AJAX, desplazamiento infinito) y API a través de proxies. - Capacidad comprobada para extraer datos de estructuras complejas (jerarquías, páginas archivadas, HTML inconsistente). - Sólido conocimiento en limpieza, normalización y validación de datos, entregando conjuntos de datos estructurados (CSV, JSON, Hojas de cálculo de Google). - Experiencia demostrada en el manejo de mecanismos anti-bot y estructuras de sitio dinámicas a gran escala. - Experiencia con infraestructura en la nube (AWS o equivalente) y contenedorización (Docker) como parte de flujos de trabajo reales. - Experiencia práctica con marcos LLM (LangChain, OpenRouter o similar) aplicados a tareas de automatización. - Fuerte atención al detalle y compromiso con la precisión de los datos. - Ética de trabajo autodirigida con capacidad para solucionar problemas de forma independiente. - Un enlace a GitHub es una ventaja. - Competencia en inglés: nivel intermedio superior (B2) o superior (requerido). Expectativas de tiempo del proyecto: Para este proyecto, se estima que las tareas requieren alrededor de 10-20 horas por semana durante las fases activas, según los requisitos del proyecto. Esta es una estimación, no una carga de trabajo garantizada, y se aplica solo mientras el proyecto esté activo. Compensación: En este proyecto, los contribuyentes pueden ganar hasta $25 por hora equivalente, dependiendo de su nivel y ritmo de contribución. La compensación varía entre proyectos dependiendo del alcance, la complejidad y la experiencia requerida. Tenga en cuenta que otros proyectos en la plataforma pueden ofrecer niveles de ingresos diferentes según sus requisitos.
Responsabilidades
- Manejo de flujos de extracción de datos
- Aprovechamiento de herramientas internas
- Validación de datasets
- Escalabilidad de operaciones
Skills requeridas
Trabajos similares
Python Scraping Developer
Python Scraping Developer
Python Software Engineer – Web Scraping - Remoto - 1728
Python Software Engineer – Web Scraping - Remoto - 1728
Senior Full-Stack Engineer (Data Platform & Tooling)
