Evaluación de Modelos de IA: Pruebas Basadas en Hechos para Modelos de Vanguardia

tech_projects

Descripción General

Como Experta en Entrenamiento de IA en Micro1, he diseñado tareas de evaluación de búsqueda de conocimiento para modelos de IA de vanguardia. Cada tarea comprueba si un modelo puede responder una pregunta basada en un único hecho indiscutible y verificable en fuentes, y está diseñada para revelar dónde fallan los modelos. Los detalles del proyecto y del cliente son confidenciales, por lo que esta página describe el método y no el contenido.

Mi Rol

  • Diseñé tareas de evaluación de preguntas y respuestas, cada una anclada en un único hecho indiscutible y verificable en fuentes
  • Diseñé y probé prompts contra las respuestas de modelos en vivo a lo largo de múltiples intentos, refinando cada pregunta hasta que expusiera de forma fiable un fallo real
  • Examiné fuentes especializadas según estrictos criterios de accesibilidad y fiabilidad
  • Redacté justificaciones respaldadas por citas que vinculan cada afirmación con el texto de la fuente primaria

Flujo de Trabajo y Calidad

  • Cada tarea pasaba por una revisión de calidad por pares en varias etapas: revisión inicial, verificación independiente y aprobación final
  • Las tareas solo se aceptaban cuando cumplían estándares probatorios compartidos
Lee-Ann Vidal Covas
Autores
Científica del lenguaje (PhD, Boston University) que une la investigación sociolingüística y la IA, con experiencia en evaluación de modelos, curación de conjuntos de datos y ciencia de datos aplicada.