AI Benchmark Engineer | Native Language Specialist - Spanish - Remote

SOBRE LA OPORTUNIDAD

Estamos construyendo un conjunto de evaluaciones rigurosas y verificables de tareas Terminal-Bench diseñadas para probar los límites de los modelos de lenguaje grandes en desafíos de software multilingües. Nuestro objetivo es medir la robustez multilingüe a través de efectos del lenguaje del prompt, procesamiento de datos no ingleses y casos extremos complejos de configuración regional/codificación en flujos de trabajo de terminal.

Buscamos ingenieros de software experimentados y hablantes nativos para diseñar, construir y validar estos benchmarks. Crearás tareas de alta señal y alta calidad que realmente pongan a prueba la capacidad de un modelo para manejar entornos multilingües sin depender de muletas de traducción al inglés.

Nota: esta es una oportunidad remota y freelance.

QUÉ ENTREGARÁS

• Ingeniería de

Tareas

Evaluación de Agentes de Codificación.

• Creación de Activos: Construir entornos de tareas realistas utilizando conjuntos de datos y archivos en tu idioma nativo. Crucialmente, estos activos deben permanecer en el idioma de destino para medir genuinamente el manejo multilingüe.
• Prompting y Traducción: Encontrar puntos de falla donde la IA no funciona, en tu idioma nativo.
• Implementación y Verificación: Apoyar el desarrollo de soluciones robustas (implementaciones de referencia) y escribir scripts de verificación altamente confiables y deterministas (utilizando solo juicios basados en rúbricas cuando sea estrictamente necesario).
• Calibración y Ejecución: Analizar logs de ejecución y calibrar la dificultad de la tarea (Fácil a Muy Difícil) utilizando configuraciones de ejecución estándar de Terminal-Bench contra varios niveles de modelos (Haiku, Sonnet, Opus).
• Control de Calidad: Participar en un riguroso proceso de control de calidad humano de 4 capas (creación, revisión humana, revisión de calibración y auditoría) junto con verificaciones automatizadas basadas en LLM para garantizar la equidad, la precisión gramatical y la integridad del benchmark.

CALIFICACIONES

-

Experiencia

Más de 5 años de experiencia industrial en ingeniería de software.

• Antecedentes: Trayectoria comprobada en empresas tecnológicas líderes y/o graduación de universidades de ingeniería de primer nivel.
• Idioma: Fluidez nativa o casi nativa, con un profundo conocimiento de sus reglas gramaticales, registro y formulación. Alta competencia en inglés.
• Stack Técnico: Fuerte dominio de Python, scripting de shell estándar y procesamiento de datos.
• Flujo de Trabajo: Amplia experiencia con flujos de trabajo de desarrollo basados en Terminal/CLI y familiaridad funcional con agentes de codificación.
• Experiencia en el Dominio: Profundo conocimiento técnico de las dificultades del procesamiento de texto multilingüe, incluyendo:
• Robustez de codificación/decodificación y normalización Unicode.
• Convenciones dependientes de la configuración regional (ordenación, mayúsculas/minúsculas, fechas no gregorianas).
• E/S de texto, interoperabilidad de toolchains y operaciones seguras de cadenas.
• (Para idiomas específicos) Manejo bidireccional/RTL, fallbacks de fuentes y renderizado/tipografía en UI o artefactos.

¿POR QUÉ COLABORAR CON LILT?

• Tu horario, tus reglas. Como contratista independiente, trabaja cuando quieras, tanto o tan poco como quieras. Sin horarios fijos, sin check-ins, sin microgestión.
• Recibe pagos de forma rápida y justa. Respetamos tu tiempo y tu experiencia. Tarifas competitivas, pagos puntuales, sin perseguir facturas.
• Trabaja en proyectos que realmente importan. Contribuye a tecnología de IA y lenguaje de vanguardia que está dando forma a cómo se comunican los humanos y las máquinas.
• Sé parte de algo más grande. Únete a una comunidad global de lingüistas, expertos en la materia y profesionales del idioma que están avanzando juntos el conocimiento humano.
• Crece sin límites. Como contratista de Lilt, obtienes acceso a proyectos diversos e innovadores que amplían tu portafolio y agudizan tus habilidades en diversas industrias y dominios.
• Diviértete haciendo lo que amas. Da vida a tus habilidades lingüísticas en proyectos tan interesantes como impactantes.

QUÉ CONSIDERAR ANTES DE POSTULARTE

• No es ideal como trabajo a tiempo completo o fuente principal de ingresos. La disponibilidad de trabajo fluctúa con la demanda del proyecto, lo que lo hace más adecuado como fuente de ingresos complementaria. Como contratista 1099, no recibirás beneficios como seguro médico, tiempo libre remunerado o contribuciones para la jubilación, y las horas no están garantizadas.
• Requiere disponibilidad y compromiso confiables. Una vez que aceptes una tarea, esperamos trabajo de calidad y entrega a tiempo. La mayoría de las tareas requieren un mínimo de 2 horas por día o 10 horas por semana. Si tu horario es impredecible, esto podría no ser adecuado.
• Pueden aplicarse restricciones geográficas. No podemos contratar contratistas en regiones sujetas a embargos o sanciones internacionales. Como contratista 1099, eres el único responsable de tus propias obligaciones fiscales. Recomendamos consultar a un profesional de impuestos antes de contratar.

CÓMO UNIRTE A NUESTRA COMUNIDAD DE EXPERTOS

1 - Envía tu solicitud, incluyendo una copia actualizada de tu CV en inglés.

2 - Luego, completa una evaluación GenAI para evaluar tus habilidades.

3 - Finaliza la incorporación y la configuración de tu perfil en nuestro sistema, y califica para proyectos de IA aplicada.

La IA está cambiando la forma en que el mundo se comunica, y LILT está liderando esa transformación.

La misión de LILT es hacer que la información del mundo esté disponible para todos, sin importar el idioma que hablen. Únete a nuestra comunidad global que prospera con la innovación y la excelencia. Nuestro conocimiento colectivo, singularidad y habilidades brindan servicios multilingües de IA y verificados por humanos a Empresas, Gobiernos y Desarrolladores de IA en todo el mundo.

Gana dinero. Diviértete. Avanza el conocimiento humano. Trabaja en proyectos diversos desde cualquier lugar, en cualquier momento. Recibe pagos de forma rápida y justa, y construye tu red profesional en una comunidad de apoyo, todo a través de un proceso de solicitud simplificado adaptado a tu experiencia.

La información recopilada y procesada como parte de tu proceso de solicitud, incluidas las solicitudes de empleo que elijas enviar, está sujeta a la Política de Privacidad de LILT en https://lilt.com/legal/privacy.

En LILT, estamos comprometidos con un proceso de contratación justo, inclusivo y transparente. Como parte de nuestros esfuerzos de reclutamiento, podemos utilizar inteligencia artificial (IA) y herramientas automatizadas para ayudar en la evaluación de solicitudes, incluida la selección de currículums, la puntuación de evaluaciones y el análisis de entrevistas. Estas herramientas están diseñadas para apoyar la toma de decisiones humanas y ayudarnos a identificar candidatos calificados de manera eficiente y objetiva. Todas las decisiones finales de contratación son tomadas por personas. Si tienes alguna inquietud, necesitas adaptaciones o deseas optar por no participar en el uso de IA en nuestro proceso de contratación, por favor, háznoslo saber en [email protected].

LILT es un empleador que ofrece igualdad de oportunidades. Extendemos igualdad de oportunidades a todas las personas sin distinción de raza, religión, color, origen nacional, ascendencia, sexo, orientación sexual, identidad de género, edad, discapacidad física o mental, condición médica, características genéticas, estado de veterano o estado civil, embarazo o cualquier otra clasificación protegida por las leyes locales, estatales o federales aplicables. Estamos comprometidos con los principios de empleo justo y la eliminación de todas las prácticas discriminatorias.