Hybrid RAG: significado y palabras exactas
Híbrido combina búsqueda semántica y léxica.
lo que aprenderás
- Explique: la búsqueda y la clasificación son etapas diferentes
- Aplica la idea en un ejemplo: RAG híbrido: significado y palabras exactas
- Reconocer las limitaciones y verificar el resultado del ejercicio.
Híbrido combina búsqueda semántica y léxica. Ayuda a realizar consultas combinando identificadores exactos y descripciones en lenguaje natural.
Estos pasos se refieren a las características identificadas en el código de la aplicación. Este material no ha sido validado en una instancia en vivo; consulta la documentación y las opciones de tu versión.
Cómo funciona, paso a paso
La búsqueda y el ranking son etapas diferentes
La recuperación selecciona candidatos y los ordena por clasificación. top_k es el número de resultados solicitados; aumentarlo puede traer evidencia pero también ruido. Un reclasificador examina la consulta y los candidatos más de cerca. No puede recuperar un pasaje que falta en la lista inicial. BM25 busca coincidencias léxicas y ayuda con códigos exactos; La búsqueda de vectores busca similitudes semánticas. RRF combina posiciones en listas clasificadas en lugar de sumar puntuaciones con unidades incompatibles. Las etapas adicionales deben justificar su calidad, latencia y costo mediante pruebas.
Coordenadas de significado
Una incrustación es un vector numérico calculado por un modelo. Los textos con significados relacionados tienden a estar cerca unos de otros en el espacio de ese modelo, pero la similitud no garantiza la relevancia. Consultas y documentos deben compartir un espacio compatible: modelo y dimensiones coincidentes. Un mapa de dos ejes es ilustrativo; Los vectores reales pueden tener cientos o miles de dimensiones. Reconstruya y vuelva a probar el índice al cambiar el modelo o las dimensiones. La similitud del coseno compara las direcciones de los vectores; no es la probabilidad de que una respuesta sea verdadera.
Defina el éxito antes de optimizar
Preparar solicitudes representativas y respuestas o propiedades esperadas. Incluya casos comunes, ambigüedad, datos faltantes y errores de herramientas. Para RAG, mida la recuperación de evidencia por separado de la corrección de las respuestas. Recall@k mide la proporción de evidencia relevante encontrada en los primeros k resultados; precision@k mide la proporción de resultados devueltos que son relevantes. Para los agentes, también realice un seguimiento de las acciones, los permisos y las detenciones. Un LLM como juez puede acelerar la evaluación, pero necesita una calibración con respecto a los humanos. No cambie el indicador, el modelo y el índice simultáneamente si desea comprender qué mejoró los resultados.
laboratorio detallado
¿Qué combina RRF?
El RRF favorece los documentos con una clasificación alta en una o más listas. Utiliza rango en lugar de asumir que las puntuaciones de BM25 y la similitud de vectores comparten una escala. En la plantilla local, la lista fusionada se reordena antes del ensamblaje del contexto.
Por ejemplo, la búsqueda vectorial coloca el manual encima del catálogo; BM25 coloca en primer lugar el catálogo LX-240. Fusion puede conservar ambas fuentes de evidencia. La reclasificación comprueba la relevancia de la consulta. Si ninguna de las listas contiene la evidencia requerida, fusion no puede crearla.
El esquema explicativo
Siga las flechas sólidas para el flujo principal. Las flechas azules discontinuas proporcionan datos o contexto; Las flechas discontinuas de color rosa muestran comentarios o resultados devueltos. Colores y formas distinguen modelos, tiendas, decisiones y resultados. RRF combina las listas de candidatos semánticos y BM25 y luego las reclasifica. Las dos búsquedas son complementarias; el sorteo no implica ejecución concurrente. La recuperación devuelve evidencia. Si un modelo de respuesta está habilitado, también redacta una respuesta; La evidencia recuperada aún necesita ser revisada. En pantallas pequeñas, desplázate horizontalmente para seguir todo el esquema.
Un ejemplo completo
Para "adaptador para LX-240", la búsqueda vectorial captura el significado y BM25 ayuda con el identificador exacto. El híbrido local aplica RRF, luego reclasifica y genera.
template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5
Pruébalo tú mismo
- Configurar vector_k=15, bm25_k=15 y final_top_k=5; compárelo con Naive en identificadores exactos.
- Registre la entrada, la fuente y el resultado esperado antes de ejecutar el experimento. Utilice únicamente los datos ficticios del ejemplo.
- Siga las etapas del diagrama. En cada paso registre qué información se recibe y se produce; No confunda el resultado intermedio con el resultado final.
- Repita después de eliminar la información necesaria o hacer que la entrada sea ambigua. Compruebe si el sistema aclara, detiene o inventa una respuesta.
- Comparar con la solución explicada. Conserve la configuración, fecha, resultado y una explicación de las diferencias. Cambie una cosa y vuelva a probar.
Una solución explicada
El pasaje de la derecha llega a la lista final sin agregar directamente puntuaciones de vectores y BM25 incompatibles. Un ejercicio exitoso le permite mostrar la conexión entre los aportes, las etapas y el resultado. Cuando falta información, una respuesta cautelosa es más útil que detalles inventados. Compare más que estilo: compruebe también las condiciones, las fuentes y las operaciones.
Cuándo resulta útil y cuáles son sus límites
Una coincidencia léxica exacta aún puede provenir de una versión incorrecta. Elija este enfoque cuando mejore una necesidad medida. Mantenga una línea de base simple y compare los resultados utilizando insumos idénticos. Un ejemplo exitoso no establece confiabilidad en todas las situaciones.
Comprueba lo que has aprendido
¿Puede un reclasificador corregir un documento no indexado?
No. El pasaje primero debe existir en el índice y en la lista de candidatos.
¿Puedes comparar directamente vectores de diferentes modelos?
Generalmente no; sus espacios no son automáticamente compatibles.
¿Qué resultado debería producir este ejercicio?
El pasaje de la derecha llega a la lista final sin agregar directamente puntuaciones de vectores y BM25 incompatibles.
Términos que conviene recordar
- Reclasificar: Una reordenación más cuidadosa de los candidatos ya recuperados.
- incrustar: Una representación numérica utilizada para comparar contenido.
- Regresión / Regresión: Un cambio que rompe un caso previamente correcto.
Fuentes y su próximo paso
Para preparar: R06 — Graficar RAG y gráficas de conocimiento