RAG avanzado más allá de las plantillas actuales
Advanced RAG agrega técnicas para medir fallas.
lo que aprenderás
- Explique: el trapo accede a la evidencia, no se vuelve a capacitar
- Aplique la idea en un ejemplo: RAG avanzado más allá de las plantillas actuales
- Reconocer las limitaciones y verificar el resultado del ejercicio.
Advanced RAG agrega técnicas para medir fallas. No son opciones automáticas en las plantillas locales.
Este es un laboratorio conceptual o externo. No asume que la aplicación expone todos los controles descritos.
Cómo funciona, paso a paso
RAG accede a la evidencia, no se vuelve a capacitar
RAG significa generación aumentada de recuperación: la recuperación proporciona pasajes relevantes antes de que el modelo responda. La ingestión prepara documentos, mientras que la ejecución de consultas busca en el índice y crea contexto. Un modelo de incrustación representa el texto numéricamente; el modelo de respuesta escribe la respuesta. Los modelos de reordenamiento, visión, gráficos y enrutadores tienen diferentes roles cuando es necesario. RAG ayuda con información privada o cambiante pero no garantiza la veracidad. Utilice una API autorizada para saldos, inventario exacto o permisos; un documento antiguo no es una fuente confiable para el estado actual.
La búsqueda y el ranking son etapas diferentes
La recuperación selecciona candidatos y los ordena por clasificación. top_k es el número de resultados solicitados; aumentarlo puede traer evidencia pero también ruido. Un reclasificador examina la consulta y los candidatos más de cerca. No puede recuperar un pasaje que falta en la lista inicial. BM25 busca coincidencias léxicas y ayuda con códigos exactos; La búsqueda de vectores busca similitudes semánticas. RRF combina posiciones en listas clasificadas en lugar de sumar puntuaciones con unidades incompatibles. Las etapas adicionales deben justificar su calidad, latencia y costo mediante pruebas.
Defina el éxito antes de optimizar
Preparar solicitudes representativas y respuestas o propiedades esperadas. Incluya casos comunes, ambigüedad, datos faltantes y errores de herramientas. Para RAG, mida la recuperación de evidencia por separado de la corrección de las respuestas. Recall@k mide la proporción de evidencia relevante encontrada en los primeros k resultados; precision@k mide la proporción de resultados devueltos que son relevantes. Para los agentes, también realice un seguimiento de las acciones, los permisos y las detenciones. Un LLM como juez puede acelerar la evaluación, pero necesita una calibración con respecto a los humanos. No cambie el indicador, el modelo y el índice simultáneamente si desea comprender qué mejoró los resultados.
El esquema explicativo
Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. Estos controles de recuperación avanzados son conceptos externos, no plantillas de aplicación adicionales. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.
Un ejemplo completo
La reescritura de consultas aclara las consultas; variantes de búsquedas multiconsulta; HyDE crea texto de recuperación hipotético; la recuperación contextual enriquece los fragmentos. Verificaciones correctivas/auto-RAG y es posible que se repita la recuperación; La recuperación agente elige los pasos dinámicamente.
Pruébalo tú mismo
- Vuelva a escribir tres preguntas ambiguas y compruebe que la intención permanece sin cambios.
- Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
- Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
- Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
- Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.
Una solución explicada
Conserve la consulta original y pruebe si las ganancias en la recuperación justifican llamadas adicionales; El texto hipotético no es evidencia. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.
Cuándo resulta útil y cuáles son sus límites
La reescritura puede cambiar el significado o eliminar un identificador exacto. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.
Comprueba lo que has aprendido
¿RAG cambia los parámetros de LLM?
No. Proporciona contexto en el momento de la solicitud; Los cambios de parámetros pertenecen al entrenamiento.
¿Puede un reclasificador corregir un documento no indexado?
No. El pasaje primero debe existir en el índice y en la lista de candidatos.
¿Qué resultado debería producir este ejercicio?
Conserve la consulta original y pruebe si las ganancias en la recuperación justifican llamadas adicionales; El texto hipotético no es evidencia.
Términos que conviene recordar
- Recuperación: Encontrar información relevante en fuentes accesibles.
- Reclasificar: Una reordenación más cuidadosa de los candidatos ya recuperados.
- Regresión / Regresión: Un cambio que rompe un caso previamente correcto.
Fuentes y su próximo paso
Para preparar: D06 — Actualizaciones, eliminación y reindexación