Un assistant pour les documents complexes

Utilisez un corpus pour comparer les stratégies RAG. Un changement de modèle nécessite une justification mesurée.

Ces étapes font référence aux fonctionnalités identifiées dans le code de l'application. Ce matériel n'a pas été validé sur une instance réelle ; vérifiez la documentation et les options de votre version.

Comment ça marche, étape par étape

La recherche et le classement sont des étapes différentes

La récupération sélectionne les candidats et les classe. top_k est le nombre de résultats demandés ; l’augmenter peut apporter des preuves mais aussi du bruit. Un reranker examine la requête et les candidats de plus près. Il ne peut pas récupérer un passage manquant dans la liste initiale. BM25 recherche des correspondances lexicales et aide avec les codes exacts ; la recherche vectorielle recherche la similarité sémantique. RRF combine les positions dans les listes classées au lieu d'ajouter des scores avec des unités incompatibles. Les étapes supplémentaires doivent justifier leur qualité, leur latence et leur coût par des tests.

Relations explicites avec la provenance

Un graphique contient des entités et des relations, telles que Produit → Utilisations → Pièce. L'extraction LLM peut confondre les noms ou inventer des relations ; conserver le document appuyant chaque fait. La traversée limitée recherche des connexions sur plusieurs sauts. Local Graph RAG combine des faits Neo4j avec des passages vectoriels. Il ne s'agit pas automatiquement du pipeline Microsoft GraphRAG avec détection de communauté et rapports. Les questions de dépendance peuvent bénéficier d’un graphique ; Les questions simples de la FAQ peuvent être moins chères avec la récupération vectorielle.

Définir le succès avant d’optimiser

Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.

Le schéma explicatif

Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Comparez la même question en utilisant des configurations multimodales, graphiques et hybrides distinctes. Leurs réponses sont évaluées séparément et non fusionnées dans un nouveau modèle. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.

Un exemple complet

Les questions incluent des codes exacts, des synonymes, des relations entre les parties et des sources manquantes. Testez Naive, Rerank, Graph, Hybrid et Router ; ajoutez Multimodal uniquement avec une ingestion de vision vérifiée.

Données d'exercice fictives

Source	Informations à utiliser
Catalogue	LX-240 utilise la pièce P-12 ; P-12 utilise l'adaptateur A-7.
Retours	Demandes dans les 14 jours suivant leur réception ; produit non utilisé dans son emballage d'origine.
Livraison	Estimé 2 à 3 jours ouvrables après l'expédition, non garanti.

Questions de démarrage : « Quel adaptateur le LX-240 utilise-t-il ? », « Puis-je retourner un produit d'occasion ? » et « Combien de temps prend la livraison ? ». Ajoutez des cas ambigus et sans réponse. Gardez la même source dans chaque comparaison.

Essayez-le vous-même

1. Exécutez des tests identiques sur toutes les variantes et inspectez chaque résultat différent.
2. Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
3. Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
4. Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
5. Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.

Une solution expliquée

Le tableau enregistre les preuves récupérées, l'exactitude, l'heure, la consommation et l'itinéraire du routeur, y compris direct. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.

Quand cette approche est utile et quelles sont ses limites

Différentes sources ou questions invalident la comparaison. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.

Vérifiez vos connaissances

Un reranker peut-il réparer un document non indexé ?

Non. Le passage doit d'abord exister dans l'index et la liste des candidats.

Un avantage extrait par l’IA prouve-t-il que la relation est vraie ?

Non. Vérifiez sa source et l’identité des entités.

Quel résultat cet exercice devrait-il produire ?

Le tableau enregistre les preuves récupérées, l'exactitude, l'heure, la consommation et l'itinéraire du routeur, y compris direct.

Les mots à retenir

• Reclassement: Une réorganisation plus soignée des candidats déjà récupérés.
• Houblon: Croisement d'une relation dans un graphique.
• Régresie / Régression: Un changement qui brise un cas précédemment correct.

Sources et votre prochaine étape

• Lewis et al. — Génération augmentée par récupération
• Microsoft GraphRAG — Présentation des requêtes
• LangGraph — Flux de travail et agents

Pour préparer : R04 — Reclasser RAG : de meilleures preuves d'abord · R05 — RAG multimodal : les documents contiennent également des images · R06 — Graphe RAG et graphes de connaissances · R07 — RAG hybride : sens et mots exacts · R08 — Routeur RAG et choix de votre stratégie de récupération · E02 — Évaluer RAG étape par étape