Bonnes questions pour tester RAG

Les questions du test cartographient les besoins réels. Un bon ensemble comprend également des questions auxquelles les documents ne peuvent pas répondre.

Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.

Comment ça marche, étape par étape

Définir le succès avant d’optimiser

Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.

RAG accède aux preuves, il ne se recycle pas

RAG signifie génération augmentée par récupération : la récupération fournit les passages pertinents avant que le modèle ne réponde. L'ingestion prépare les documents, tandis que l'exécution des requêtes recherche dans l'index et crée le contexte. Un modèle d'intégration représente le texte numériquement ; le modèle de réponse écrit la réponse. Les modèles de rerankers, de vision, de graphiques et de routeurs ont des rôles différents en cas de besoin. RAG aide avec les informations privées ou changeantes mais ne garantit pas la vérité. Utilisez une API autorisée pour les soldes, l'inventaire exact ou les autorisations ; un ancien document n'est pas une source fiable pour l'état actuel.

La fluidité et l’exactitude se vérifient séparément

Une hallucination est un contenu non étayé ou incorrect présenté comme une réponse. Cela peut provenir d’informations manquantes, d’ambiguïtés ou de modèles mal combinés. Demandez des preuves et vérifiez le document original, la date, les unités et les conditions. Une véritable citation peut toujours ne pas étayer l’affirmation. Utilisez des sources actuelles pour les faits actuels, une calculatrice pour l'arithmétique et « ne peut pas déterminer » quand des preuves sont manquantes. Ne considérez pas la confiance exprimée en prose comme une probabilité calibrée.

Le schéma explicatif

Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.

Un exemple complet

Créez quatre questions chacune sur les délais, les codes exacts, les relations, l'ambiguïté et les données absentes. Enregistrez les preuves et le comportement attendu pour chacun.

Essayez-le vous-même

1. Remplissez 20 lignes avec la question, la source, la réponse attendue et la catégorie.
2. Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
3. Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
4. Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
5. Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.

Une solution expliquée

Vous avez 20 cas incluant des « informations indisponibles » ; le contenu inventé ne compte pas comme exhaustivité. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.

Quand cette approche est utile et quelles sont ses limites

Les questions textuelles des documents sont trop simples en tant que seul test. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.

Vérifiez vos connaissances

Un bon score de style prouve-t-il le succès d’un agent ?

Non. L’agent peut écrire magnifiquement après avoir utilisé le mauvais outil ou les mauvaises données.

RAG modifie-t-il les paramètres LLM ?

Non. Il fournit le contexte de l’heure de la demande ; les changements de paramètres appartiennent à la formation.

Quel résultat cet exercice devrait-il produire ?

Vous avez 20 cas incluant des « informations indisponibles » ; le contenu inventé ne compte pas comme exhaustivité.

Les mots à retenir

• Régresie / Régression: Un changement qui brise un cas précédemment correct.
• Récupération: Trouver des informations pertinentes dans des sources accessibles.
• Mise à la terre: Fonder une réponse sur des preuves vérifiables.

Sources et votre prochaine étape

• LangGraph — Flux de travail et agents
• Lewis et al. — Génération augmentée par récupération
• Hugging Face — Cours LLM

Pour préparer : D03 — Chunking et métadonnées