Evaluar RAG sin Golden Datasets: Métricas y Enfoques Prácticos

En Buildations estamos construyendo infraestructura propia basada en IA, y la calidad de nuestros sistemas Retrieval Augmented Generation (RAG) es un aspecto crítico. La evaluación tradicional de RAG se apoya fuertemente en golden datasets: conjuntos de datos cuidadosamente anotados que sirven como referencia para comparar las respuestas generadas por el sistema contra una "verdad absoluta". Si bien útiles, estos datasets presentan desafíos significativos: requieren un esfuerzo manual considerable para su creación y mantenimiento, y a menudo no capturan la diversidad del mundo real ni evolucionan con los cambios en el conocimiento subyacente.

En este artículo, exploraremos alternativas viables para medir la calidad de un sistema RAG sin depender exclusivamente de golden datasets. Nos centraremos en métricas automatizadas que pueden integrarse en pipelines de evaluación continuos y en mecanismos para recopilar feedback del usuario para refinar el modelo a lo largo del tiempo. La idea no es abandonar completamente la comparación con una referencia, sino diversificar las fuentes de información para obtener una imagen más completa y robusta.

Relevancia Contextual: Medición Automática

Uno de los aspectos clave de un buen sistema RAG es que el contexto recuperado sea realmente relevante para la pregunta del usuario. Medir esto automáticamente puede ser complicado, pero existen enfoques prometedores. Una opción simple es calcular la similitud semántica entre la consulta original y los fragmentos recuperados, utilizando modelos de embedding (como los disponibles a través de Ollama). Un umbral bajo indicaría una posible falta de relevancia, lo que podría señalar un problema en el índice vectorial o en el algoritmo de búsqueda.

Más allá de la similitud básica, podemos utilizar LangGraph para definir flujos de trabajo de evaluación más complejos. Por ejemplo, podríamos crear un flujo que determine si los fragmentos recuperados contienen entidades mencionadas en la consulta original. Esto requiere un modelo de extracción de entidades, pero puede proporcionar una medida más granular de la relevancia contextual. Estas métricas deben ser monitorizadas continuamente y alertarnos sobre posibles degradaciones en el rendimiento del sistema.

Fidelidad: Verificando las Afirmaciones Generadas

La fidelidad se refiere a la capacidad de la respuesta generada para basarse estrictamente en la información contenida en los fragmentos recuperados. Una respuesta "alucinatoria" que inventa hechos o introduce opiniones no es aceptable. Evaluar la fidelidad es un problema abierto, pero existen algunas técnicas emergentes.

Un enfoque consiste en utilizar modelos de lenguaje (LLMs) para evaluar si cada afirmación hecha en la respuesta generada se puede verificar directamente contra los fragmentos recuperados. Esto implica descomponer la respuesta en afirmaciones individuales y luego buscar evidencia explícita que las respalde en el contexto. Podemos incluso usar un LLM a través de una interfaz como Ollama para este propósito, instruyéndolo para que sea crítico y reporte cualquier discrepancia. Si bien esto no es perfecto, puede ayudar a identificar respuestas que se desvían del material fuente.

Métricas de Evaluación en Tiempo Real: Más allá del “Score” Único

La gran limitación de los golden datasets es su naturaleza estática. Evalúan un estado inicial, pero el comportamiento de RAG se degrada con el tiempo debido a cambios en las fuentes de datos, modelos base y la propia configuración del sistema. Necesitamos métricas que nos permitan monitorizar continuamente la calidad de nuestras respuestas generadas por RAG.

Una aproximación es utilizar una combinación de métricas automatizadas. No buscamos un único "score" global, sino un panel de indicadores. Algunas métricas clave incluyen:

Precisión del Chunking: Medir si los fragmentos recuperados son relevantes para la pregunta. Esto puede hacerse con modelos de clasificación entrenados o incluso con LLMs mediante prompt engineering. La idea es detectar falsos positivos (chunks irrelevantes) y falsos negativos (chunks relevantes no recuperados). Cobertura del Conocimiento: Evaluar si las respuestas generadas cubren todos los aspectos importantes de la pregunta, basándose en el conocimiento disponible en la base de datos. Esto requiere un enfoque más complejo que simplemente medir la precisión de palabras clave. Podríamos usar LangGraph para definir "planes" de respuesta y verificar si se ejecutan correctamente. Fidelidad (Factuality): Verificar que las afirmaciones hechas por el modelo estén respaldadas por la información en los fragmentos recuperados. Esto es crucial para evitar alucinaciones. Podríamos utilizar modelos dedicados a fact verification, o implementar un sistema de "atribución" donde cada frase generada se mapea a su fuente original. Latencia: Medir el tiempo que tarda en generar una respuesta, desde la recepción de la pregunta hasta la entrega del resultado. Es importante monitorizar esto para asegurar una experiencia de usuario aceptable.

Estas métricas pueden integrarse en un sistema de observabilidad utilizando herramientas como n8n para automatizar la recopilación y análisis de datos, alertando sobre desviaciones significativas. Además, Ollama nos permite ejecutar modelos de evaluación localmente, reduciendo costos y mejorando la privacidad al no enviar datos sensibles a servicios externos.

Evaluación Humana Asistida por IA: Combinando lo Mejor de Ambos Mundos

Si bien la automatización es crucial para el monitoreo continuo, la evaluación humana sigue siendo indispensable. Sin embargo, podemos mejorar significativamente la eficiencia de esta evaluación con ayuda de la IA. En lugar de que evaluadores humanos revisen cada respuesta, se puede utilizar un LLM para pre-seleccionar las respuestas más sospechosas o para generar anotaciones preliminares.

Un proceso típico sería:

1. Clasificación por LLM: Un modelo (idealmente uno especializado en evaluación) califica la respuesta según métricas como relevancia, fidelidad y claridad. 2. Priorización: Los evaluadores humanos se enfocan en las respuestas con puntuaciones bajas o ambiguas. 3. Anotación Asistida: El LLM proporciona sugerencias de mejora (e.g., "Esta afirmación no está respaldada por la fuente X") que el evaluador puede aceptar, rechazar o modificar.

Esto reduce significativamente la carga de trabajo de los evaluadores humanos mientras se mantiene un alto nivel de calidad en la evaluación.

Iteración Continua y Ajuste Fino: Un Ciclo Virtuoso

La evaluación no debe ser un evento único, sino parte de un ciclo continuo de mejora. Los resultados de las métricas automatizadas y las evaluaciones humanas deben alimentar el ajuste fino de los componentes del sistema RAG. Esto puede incluir:

Reentrenamiento de Modelos: Ajustar el modelo base o el modelo de clasificación para mejorar la precisión de la recuperación. Optimización de la Estrategia de Chunking: Modificar el tamaño y contenido de los fragmentos para maximizar la relevancia. Ajuste del Prompt: Refinar las instrucciones proporcionadas al LLM para fomentar respuestas más precisas, concisas y completas.

Esta iteración constante es esencial para mantener la calidad de RAG a medida que evoluciona el entorno en el que opera. Documentar los experimentos (qué cambios se hicieron, qué impacto tuvieron) usando herramientas de versionamiento y gestión de proyectos es fundamental.

Conclusión:

Evaluar sistemas RAG va más allá de la simple comparación con golden datasets. La adopción de métricas automatizadas robustas, la integración de evaluación humana asistida por IA y un ciclo continuo de iteración son cruciales para asegurar la calidad y confiabilidad de estos sistemas en producción. La combinación estratégica de herramientas como Ollama, Qdrant, LangGraph y n8n nos permite construir un pipeline de evaluación eficiente y adaptable a las necesidades específicas de nuestra infraestructura de IA auto-construida.