Évaluer RAG étape par étape

Séparez les preuves récupérées de la manière dont le modèle les utilise. Sinon, vous risquez d'optimiser la mauvaise étape.

Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.

Comment ça marche, étape par étape

Définir le succès avant d’optimiser

Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.

La recherche et le classement sont des étapes différentes

La récupération sélectionne les candidats et les classe. top_k est le nombre de résultats demandés ; l’augmenter peut apporter des preuves mais aussi du bruit. Un reranker examine la requête et les candidats de plus près. Il ne peut pas récupérer un passage manquant dans la liste initiale. BM25 recherche des correspondances lexicales et aide avec les codes exacts ; la recherche vectorielle recherche la similarité sémantique. RRF combine les positions dans les listes classées au lieu d'ajouter des scores avec des unités incompatibles. Les étapes supplémentaires doivent justifier leur qualité, leur latence et leur coût par des tests.

La fluidité et l’exactitude se vérifient séparément

Une hallucination est un contenu non étayé ou incorrect présenté comme une réponse. Cela peut provenir d’informations manquantes, d’ambiguïtés ou de modèles mal combinés. Demandez des preuves et vérifiez le document original, la date, les unités et les conditions. Une véritable citation peut toujours ne pas étayer l’affirmation. Utilisez des sources actuelles pour les faits actuels, une calculatrice pour l'arithmétique et « ne peut pas déterminer » quand des preuves sont manquantes. Ne considérez pas la confiance exprimée en prose comme une probabilité calibrée.

Le schéma explicatif

Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.

Un exemple complet

Récupérez l'un des deux passages pertinents dans quatre résultats : rappel = 1/2 et précision = 1/4 pour ce cas. La réponse peut toujours omettre une condition du passage récupéré.

Essayez-le vous-même

1. Étiquetez les passages pertinents pour cinq questions et comparez la récupération avec la génération.
2. Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
3. Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
4. Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
5. Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.

Une solution expliquée

Déclarez séparément la couverture des preuves, la pertinence des résultats et le soutien à la revendication finale. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.

Quand cette approche est utile et quelles sont ses limites

Un score vectoriel élevé ne remplace pas l’étiquetage de pertinence. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.

Vérifiez vos connaissances

Un bon score de style prouve-t-il le succès d’un agent ?

Non. L’agent peut écrire magnifiquement après avoir utilisé le mauvais outil ou les mauvaises données.

Un reranker peut-il réparer un document non indexé ?

Non. Le passage doit d'abord exister dans l'index et la liste des candidats.

Quel résultat cet exercice devrait-il produire ?

Déclarez séparément la couverture des preuves, la pertinence des résultats et le soutien à la revendication finale.

Les mots à retenir

• Régresie / Régression: Un changement qui brise un cas précédemment correct.
• Reclassement: Une réorganisation plus soignée des candidats déjà récupérés.
• Mise à la terre: Fonder une réponse sur des preuves vérifiables.

Sources et votre prochaine étape

• LangGraph — Flux de travail et agents
• Lewis et al. — Génération augmentée par récupération
• Hugging Face — Cours LLM

Pour préparer : E01 — Comment mesurer si l'IA est utile