Pourquoi RAG répond-il mal ?
Réparez la scène défaillante.
Ce que vous apprendrez
- Expliquez : les bons documents précèdent les bonnes réponses
- Appliquez l'idée dans un exemple : pourquoi RAG répond-il mal ?
- Reconnaître les limites et vérifier le résultat de l'exercice
Réparez la scène défaillante. Des changements rapides ne sont d’aucune utilité lorsque les preuves nécessaires n’atteignent jamais le contexte.
Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.
Comment ça marche, étape par étape
Les bons documents précèdent les bonnes réponses
Préparez un texte lisible, des titres clairs, des tableaux avec en-têtes et sources sans doublons inutiles. Le chunking divise un document en passages récupérables séparément ; le chevauchement préserve la continuité entre voisins. Un petit morceau peut perdre des conditions, tandis qu'un gros morceau introduit du bruit. Les métadonnées préservent la source, la position et la version, ainsi que la portée d'accès lorsque l'implémentation l'impose. Le téléchargement stocke le fichier ; l'indexation le rend consultable. Lorsqu'une source change, vérifiez que les anciens fragments disparaissent et que les nouveaux sont récupérés avant de déclarer la base de connaissances actuelle.
La recherche et le classement sont des étapes différentes
La récupération sélectionne les candidats et les classe. top_k est le nombre de résultats demandés ; l’augmenter peut apporter des preuves mais aussi du bruit. Un reranker examine la requête et les candidats de plus près. Il ne peut pas récupérer un passage manquant dans la liste initiale. BM25 recherche des correspondances lexicales et aide avec les codes exacts ; la recherche vectorielle recherche la similarité sémantique. RRF combine les positions dans les listes classées au lieu d'ajouter des scores avec des unités incompatibles. Les étapes supplémentaires doivent justifier leur qualité, leur latence et leur coût par des tests.
La fluidité et l’exactitude se vérifient séparément
Une hallucination est un contenu non étayé ou incorrect présenté comme une réponse. Cela peut provenir d’informations manquantes, d’ambiguïtés ou de modèles mal combinés. Demandez des preuves et vérifiez le document original, la date, les unités et les conditions. Une véritable citation peut toujours ne pas étayer l’affirmation. Utilisez des sources actuelles pour les faits actuels, une calculatrice pour l'arithmétique et « ne peut pas déterminer » quand des preuves sont manquantes. Ne considérez pas la confiance exprimée en prose comme une probabilité calibrée.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
Le texte est-il dans le PDF ? A-t-il été extrait ? Le morceau existe-t-il ? Est-il devenu candidat ? Est-ce dans son contexte ? La réponse l'utilise-t-elle correctement ? Ces contrôles distinguent six causes.
Essayez-le vous-même
- Diagnostiquez les extractions vides, les classements bas, les conditions tronquées, les sources périmées et les affirmations inventées.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Identifiez la première étape avec des données manquantes ou incorrectes et testez un changement ciblé. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
L'augmentation de top_k ne peut pas corriger l'extraction vide. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
Le téléchargement terminé signifie-t-il qu'un document est prêt pour RAG ?
Non. L’extraction, le regroupement et l’indexation doivent également se terminer avec succès.
Un reranker peut-il réparer un document non indexé ?
Non. Le passage doit d'abord exister dans l'index et la liste des candidats.
Quel résultat cet exercice devrait-il produire ?
Identifiez la première étape avec des données manquantes ou incorrectes et testez un changement ciblé.
Les mots à retenir
- Gros morceau: Un passage de document pouvant être récupéré séparément.
- Reclassement: Une réorganisation plus soignée des candidats déjà récupérés.
- Mise à la terre: Fonder une réponse sur des preuves vérifiables.
Sources et votre prochaine étape
Pour préparer : D04 — Bonnes questions pour tester RAG