Directo de la empresahace 2 días
Web Researcher (AI Benchmarking)
Gramian Consulting Group
Remoto · Por proyecto
Este aviso fue publicado originalmente en inglés, así que es probable que necesites inglés para este puesto. La descripción puede estar traducida automáticamente al español; ante la duda, revisá el aviso original con el botón de postularte.
Empresa de consultoría busca investigador web freelance para diseñar y ejecutar benchmarks de evaluación para agentes de IA avanzados, con un contrato de 8 semanas y dedicación full-time.
Por qué aplicar
Si te copa la investigación profunda y el desafío de poner a prueba la IA, este puesto remoto es para vos. Vas a diseñar problemas de investigación complejos para evaluar agentes de IA, trabajando 8 semanas full-time. Ideal para quienes disfrutan de rastrear información y validar fuentes en la web.
Descripción del puesto
Acerca de nosotros Gramian Consultancy es una consultora especializada en servicios profesionales de IT y soluciones de talento en ingeniería. Con una sólida experiencia en ingeniería de software y liderazgo, ayudamos a las empresas a construir equipos de alto rendimiento conectándolas con profesionales que se ajustan verdaderamente a sus necesidades. Descripción del rol Nuestro cliente está construyendo benchmarks de evaluación avanzados para agentes de navegación de IA de frontera. Buscamos investigadores de investigación altamente calificados que puedan diseñar problemas de investigación que sigan siendo difíciles incluso para los sistemas de IA de última generación con acceso completo a la web. Este no es un rol tradicional de experto en la materia o redactor de contenido. El trabajo se centra en la investigación en la web abierta, el rastreo de evidencia, la validación de fuentes y la construcción de benchmarks. Comenzarás con un hecho verificable, trabajarás hacia atrás para construir una pregunta de investigación difícil y documentarás un rastro de evidencia completo y auditable que muestre cómo se puede verificar la respuesta de forma independiente. Contrato: Asignación temporal de freelance/contratista, 8 semanas. Compromiso: 40 horas por semana, al menos 4 horas por día, incluyendo 4 horas de superposición con PST. Ubicaciones: Remoto, GLOBAL. Responsabilidades - Diseñar problemas de investigación desafiantes en la web abierta para evaluar agentes de navegación de IA avanzados. - Comenzar con hechos objetivamente verificables y construir preguntas que hagan que esos hechos sean difíciles de descubrir. - Construir estructuras de pistas de varios pasos que involucren fechas, personas, lugares, organizaciones, obras, eventos, registros y cantidades. - Asegurar que cada pista sea verificable de forma independiente y esté sujeta a restricciones claras. - Investigar en bases de datos gubernamentales, fuentes institucionales, archivos, registros y documentos PDF. - Producir rastros de evidencia completos citando páginas, tablas, secciones o registros exactos. - Registrar búsquedas de validación y documentar qué enfoques de búsqueda obvios arrojan resultados. - Probar si las preguntas de investigación siguen siendo difíciles en múltiples intentos de búsqueda. - Refinar las preguntas para eliminar la ambigüedad preservando la dificultad. - Entregar documentación de investigación estructurada y reproducible. Experiencia - Experiencia en biblioteconomía de referencia, archivos o colecciones especiales. - Experiencia en periodismo de investigación o verificación de hechos profesional. - Experiencia con OSINT, debida diligencia, KYC o investigación de investigación. - Experiencia en investigación de patentes, arte previo o descubrimiento legal. - Experiencia en investigación de genealogía o registros históricos. - Experiencia en concursos competitivos, diseño de puzzles o construcción de búsquedas del tesoro. - Familiaridad con JSON o formatos de datos estructurados.
Responsabilidades
- Diseñar problemas de investigación web desafiantes para evaluar agentes de IA.
- Construir estructuras de pistas multi-paso.
- Garantizar que cada pista sea verificable independientemente.
- Investigar en bases de datos gubernamentales, archivos y registros.
- Producir rastros de evidencia completos citando páginas exactas.
- Documentar enfoques de búsqueda obvios y sus resultados.
- Probar la dificultad de las preguntas de investigación.
- Refinar preguntas para eliminar ambigüedades.
- Entregar documentación de investigación estructurada y reproducible.
Habilidades
Investigación webValidación de fuentesConstrucción de benchmarksTrazabilidad de evidenciaDiseño de problemas de investigaciónPensamiento críticoAtención al detalleResolución de problemas