Reclasser RAG : de meilleures preuves d'abord
Rerank ajoute une sélection plus minutieuse après la récupération.
Ce que vous apprendrez
- Expliquez : la recherche et le classement sont des étapes différentes
- Appliquez l'idée dans un exemple : Rerank RAG : de meilleures preuves d'abord
- Reconnaître les limites et vérifier le résultat de l'exercice
Rerank ajoute une sélection plus minutieuse après la récupération. Cela aide lorsque de bonnes preuves existent mais sont trop mal classées.
Ces étapes font référence aux fonctionnalités identifiées dans le code de l'application. Ce matériel n'a pas été validé sur une instance réelle ; vérifiez la documentation et les options de votre version.
Comment ça marche, étape par étape
La recherche et le classement sont des étapes différentes
La récupération sélectionne les candidats et les classe. top_k est le nombre de résultats demandés ; l’augmenter peut apporter des preuves mais aussi du bruit. Un reranker examine la requête et les candidats de plus près. Il ne peut pas récupérer un passage manquant dans la liste initiale. BM25 recherche des correspondances lexicales et aide avec les codes exacts ; la recherche vectorielle recherche la similarité sémantique. RRF combine les positions dans les listes classées au lieu d'ajouter des scores avec des unités incompatibles. Les étapes supplémentaires doivent justifier leur qualité, leur latence et leur coût par des tests.
RAG accède aux preuves, il ne se recycle pas
RAG signifie génération augmentée par récupération : la récupération fournit les passages pertinents avant que le modèle ne réponde. L'ingestion prépare les documents, tandis que l'exécution des requêtes recherche dans l'index et crée le contexte. Un modèle d'intégration représente le texte numériquement ; le modèle de réponse écrit la réponse. Les modèles de rerankers, de vision, de graphiques et de routeurs ont des rôles différents en cas de besoin. RAG aide avec les informations privées ou changeantes mais ne garantit pas la vérité. Utilisez une API autorisée pour les soldes, l'inventaire exact ou les autorisations ; un ancien document n'est pas une source fiable pour l'état actuel.
Le coût appartient à l'ensemble du chemin
Comptez les appels de modèle, les jetons d'entrée et de sortie, les intégrations, le reclassement, la vision et les outils. Le raisonnement peut consommer des jetons facturables sans une réponse visible aussi longue. Les frais d’indexation et les frais de conversation diffèrent. Utilisez les prix actuels plutôt qu'un numéro permanent d'un cours. Une estimation simple est le nombre de jetons/1 000 000 × prix plus les opérations supplémentaires ; les crédits d'application peuvent avoir leur propre conversion. Comparez le coût par tâche réussie, et pas seulement par appel. L'exécution parallèle peut réduire la latence tout en augmentant la consommation totale. Un budget a besoin d’une condition d’arrêt vérifiée.
Laboratoire détaillé
Interpréter les listes initiales et finales
initial_top_k détermine le nombre de candidats récupérés ; final_top_k détermine combien il en reste après le reclassement. Vérifiez le reranker sélectionné et son coût. Le texte délivré peut être sémantiquement proche d’une question de retour sans constituer une preuve appropriée.
Comparez les exécutions en utilisant un modèle de corpus, de requête et de réponse identique. Si le passage concerné est absent des deux listes initiales, le reclassement ne peut pas résoudre la cause. Si elle est présente et mieux classée, inspectez également la réponse finale : une meilleure liste ne garantit pas que toutes les conditions sont utilisées.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. La récupération renvoie des preuves. Si un modèle de réponse est activé, il compose également une réponse ; les preuves récupérées doivent encore être vérifiées. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
La politique de retour est le huitième candidat. initial_top_k=15 l'inclut ; final_top_k=5 conserve les passages reclassés les plus pertinents. Avec seulement quatre candidats initiaux, il serait absent.
template: Rerank
initial_top_k: 15
final_top_k: 5
Essayez-le vous-même
- Configurez un reranker, initial_top_k=15 et final_top_k=5 à titre expérimental, et non comme paramètres universels.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Des preuves correctes sont incluses et mieux ordonnées ; comparer la qualité et le coût avec Naive. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Le reclassement ne peut pas corriger les sources non indexées ou non autorisées. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
Un reranker peut-il réparer un document non indexé ?
Non. Le passage doit d'abord exister dans l'index et la liste des candidats.
RAG modifie-t-il les paramètres LLM ?
Non. Il fournit le contexte de l’heure de la demande ; les changements de paramètres appartiennent à la formation.
Quel résultat cet exercice devrait-il produire ?
Des preuves correctes sont incluses et mieux ordonnées ; comparer la qualité et le coût avec Naive.
Les mots à retenir
- Reclassement: Une réorganisation plus soignée des candidats déjà récupérés.
- Récupération: Trouver des informations pertinentes dans des sources accessibles.
- Latență / Latence: Temps jusqu'à un résultat utile.
Sources et votre prochaine étape
Pour préparer : R03 — Naive RAG : votre référence