Evaluación de RAG etapa por etapa

Separe la evidencia recuperada de cómo la usa el modelo. De lo contrario, puede optimizar la etapa incorrecta.

Puedes seguir este curso sin cuenta ni programación. Los ejemplos utilizan datos sintéticos y es necesario comprobar los resultados de la IA.

Cómo funciona, paso a paso

Defina el éxito antes de optimizar

Preparar solicitudes representativas y respuestas o propiedades esperadas. Incluya casos comunes, ambigüedad, datos faltantes y errores de herramientas. Para RAG, mida la recuperación de evidencia por separado de la corrección de las respuestas. Recall@k mide la proporción de evidencia relevante encontrada en los primeros k resultados; precision@k mide la proporción de resultados devueltos que son relevantes. Para los agentes, también realice un seguimiento de las acciones, los permisos y las detenciones. Un LLM como juez puede acelerar la evaluación, pero necesita una calibración con respecto a los humanos. No cambie el indicador, el modelo y el índice simultáneamente si desea comprender qué mejoró los resultados.

La búsqueda y el ranking son etapas diferentes

La recuperación selecciona candidatos y los ordena por clasificación. top_k es el número de resultados solicitados; aumentarlo puede traer evidencia pero también ruido. Un reclasificador examina la consulta y los candidatos más de cerca. No puede recuperar un pasaje que falta en la lista inicial. BM25 busca coincidencias léxicas y ayuda con códigos exactos; La búsqueda de vectores busca similitudes semánticas. RRF combina posiciones en listas clasificadas en lugar de sumar puntuaciones con unidades incompatibles. Las etapas adicionales deben justificar su calidad, latencia y costo mediante pruebas.

La fluidez y la verdad se verifican por separado.

Una alucinación es un contenido incorrecto o sin fundamento presentado como respuesta. Puede surgir por falta de información, ambigüedad o patrones combinados incorrectamente. Solicite evidencia y verifique el documento original, fecha, unidades y condiciones. Es posible que una cita real aún no respalde el reclamo. Utilice fuentes actuales para hechos actuales, una calculadora para aritmética y “no pueda determinar” cuando faltan pruebas. No trate la confianza expresada en prosa como una probabilidad calibrada.

El esquema explicativo

Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.

Un ejemplo completo

Recupere uno de los dos pasajes relevantes en cuatro resultados: recuperación = 1/2 y precisión = 1/4 para ese caso. Es posible que la respuesta aún omita una condición del pasaje recuperado.

Pruébalo tú mismo

1. Etiquete pasajes relevantes para cinco preguntas y compare la recuperación con la generación.
2. Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
3. Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
4. Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
5. Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.

Una solución explicada

Informe la cobertura de evidencia, la relevancia de los resultados y el respaldo del reclamo final por separado. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.

Cuándo resulta útil y cuáles son sus límites

Una puntuación vectorial alta no reemplaza el etiquetado de relevancia. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.

Comprueba lo que has aprendido

¿Un buen puntaje de estilo demuestra el éxito del agente?

No. El agente puede escribir maravillosamente después de utilizar la herramienta o los datos incorrectos.

¿Puede un reclasificador corregir un documento no indexado?

No. El pasaje primero debe existir en el índice y en la lista de candidatos.

¿Qué resultado debería producir este ejercicio?

Informe la cobertura de evidencia, la relevancia de los resultados y el respaldo del reclamo final por separado.

Términos que conviene recordar

• Regresión / Regresión: Un cambio que rompe un caso previamente correcto.
• Reclasificar: Una reordenación más cuidadosa de los candidatos ya recuperados.
• Toma de tierra: Fundamentar una respuesta en evidencia verificable.

Fuentes y su próximo paso

• LangGraph — Flujos de trabajo y agentes
• Lewis et al. — Generación aumentada de recuperación
• Hugging Face — LLM Course

Para preparar: E01: Cómo medir si la IA es útil