Hybrid RAG: signification et mots exacts
Hybrid combine recherche sémantique et lexicale.
Ce que vous apprendrez
- Expliquez : la recherche et le classement sont des étapes différentes
- Appliquer l'idée dans un exemple : Hybrid RAG : sens et mots exacts
- Reconnaître les limites et vérifier le résultat de l'exercice
Hybrid combine recherche sémantique et lexicale. Il facilite les requêtes mêlant identifiants exacts et descriptions en langage naturel.
Ces étapes font référence aux fonctionnalités identifiées dans le code de l'application. Ce matériel n'a pas été validé sur une instance réelle ; vérifiez la documentation et les options de votre version.
Comment ça marche, étape par étape
La recherche et le classement sont des étapes différentes
La récupération sélectionne les candidats et les classe. top_k est le nombre de résultats demandés ; l’augmenter peut apporter des preuves mais aussi du bruit. Un reranker examine la requête et les candidats de plus près. Il ne peut pas récupérer un passage manquant dans la liste initiale. BM25 recherche des correspondances lexicales et aide avec les codes exacts ; la recherche vectorielle recherche la similarité sémantique. RRF combine les positions dans les listes classées au lieu d'ajouter des scores avec des unités incompatibles. Les étapes supplémentaires doivent justifier leur qualité, leur latence et leur coût par des tests.
Coordonnées pour le sens
Un plongement est un vecteur numérique calculé par un modèle. Les textes ayant des significations connexes ont tendance à se trouver les uns à côté des autres dans l’espace de ce modèle, mais la similitude ne garantit pas la pertinence. Les requêtes et les documents doivent partager un espace compatible : modèle et dimensions adaptés. Une carte à deux axes est illustrative ; les vecteurs réels peuvent avoir des centaines ou des milliers de dimensions. Reconstruisez et testez à nouveau l'index lors de la modification du modèle ou des dimensions. La similarité cosinus compare les directions vectorielles ; ce n'est pas la probabilité qu'une réponse soit vraie.
Définir le succès avant d’optimiser
Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.
Laboratoire détaillé
Que combine le RRF ?
RRF privilégie les documents bien classés dans une ou plusieurs listes. Il utilise le classement plutôt que de supposer que les scores BM25 et la similarité vectorielle partagent une échelle. Dans le modèle local, la liste fusionnée est reclassée avant l'assemblage du contexte.
Par exemple, la recherche vectorielle place le manuel au-dessus du catalogue ; BM25 place le catalogue LX-240 en premier. Fusion peut conserver les deux sources de preuves. Le reclassement vérifie la pertinence de la requête. Si aucune des deux listes ne contient les preuves requises, la fusion ne peut pas les créer.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Les listes de candidats sémantiques et BM25 sont combinées par RRF, puis reclassées. Les deux recherches sont complémentaires ; le dessin n'implique pas une exécution simultanée. La récupération renvoie des preuves. Si un modèle de réponse est activé, il compose également une réponse ; les preuves récupérées doivent encore être vérifiées. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
Pour « adaptateur pour LX-240 », la recherche vectorielle capture la signification et BM25 aide avec l'identifiant exact. Local Hybrid applique RRF, puis reclassement et génération.
template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5
Essayez-le vous-même
- Configurez vector_k=15, bm25_k=15 et final_top_k=5 ; comparer avec Naive sur les identifiants exacts.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Le bon passage atteint la liste finale sans ajouter directement les vecteurs incompatibles et les scores BM25. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Une correspondance lexicale exacte peut toujours provenir d’une mauvaise version. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
Un reranker peut-il réparer un document non indexé ?
Non. Le passage doit d'abord exister dans l'index et la liste des candidats.
Pouvez-vous comparer directement les vecteurs de différents modèles ?
Généralement non ; leurs espaces ne sont pas automatiquement compatibles.
Quel résultat cet exercice devrait-il produire ?
Le bon passage atteint la liste finale sans ajouter directement les vecteurs incompatibles et les scores BM25.
Les mots à retenir
- Reclassement: Une réorganisation plus soignée des candidats déjà récupérés.
- Intégration: Une représentation numérique utilisée pour comparer le contenu.
- Régresie / Régression: Un changement qui brise un cas précédemment correct.
Sources et votre prochaine étape
Pour préparer : R06 — Graphe RAG et graphes de connaissances