Chunking et métadonnées
Le chunking détermine la quantité de contexte récupérée dans un passage.
Ce que vous apprendrez
- Expliquez : les bons documents précèdent les bonnes réponses
- Appliquez l'idée dans un exemple : Chunking et métadonnées
- Reconnaître les limites et vérifier le résultat de l'exercice
Le chunking détermine la quantité de contexte récupérée dans un passage. Les métadonnées nous indiquent d'où elles proviennent et si elles sont actuelles.
Il s’agit d’un laboratoire conceptuel ou externe. Cela ne suppose pas que l’application expose tous les contrôles décrits.
Comment ça marche, étape par étape
Les bons documents précèdent les bonnes réponses
Préparez un texte lisible, des titres clairs, des tableaux avec en-têtes et sources sans doublons inutiles. Le chunking divise un document en passages récupérables séparément ; le chevauchement préserve la continuité entre voisins. Un petit morceau peut perdre des conditions, tandis qu'un gros morceau introduit du bruit. Les métadonnées préservent la source, la position et la version, ainsi que la portée d'accès lorsque l'implémentation l'impose. Le téléchargement stocke le fichier ; l'indexation le rend consultable. Lorsqu'une source change, vérifiez que les anciens fragments disparaissent et que les nouveaux sont récupérés avant de déclarer la base de connaissances actuelle.
Coordonnées pour le sens
Un plongement est un vecteur numérique calculé par un modèle. Les textes ayant des significations connexes ont tendance à se trouver les uns à côté des autres dans l’espace de ce modèle, mais la similitude ne garantit pas la pertinence. Les requêtes et les documents doivent partager un espace compatible : modèle et dimensions adaptés. Une carte à deux axes est illustrative ; les vecteurs réels peuvent avoir des centaines ou des milliers de dimensions. Reconstruisez et testez à nouveau l'index lors de la modification du modèle ou des dimensions. La similarité cosinus compare les directions vectorielles ; ce n'est pas la probabilité qu'une réponse soit vraie.
Définir le succès avant d’optimiser
Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
Séparer « 14 jours » de « non utilisé uniquement » fait perdre la condition. Gardez les règles et les exceptions ensemble ; conserver les en-têtes de tableau dans les représentations extraites.
Essayez-le vous-même
- Divisez la politique en deux manières et comparez les informations perdues aux frontières.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Le passage pertinent préserve la date limite et la condition, ainsi que l'identifiant de la source. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Ne présumez pas qu’un contrôle d’interface utilisateur de taille fragmentaire existe à moins qu’il ne soit exposé. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
Le téléchargement terminé signifie-t-il qu'un document est prêt pour RAG ?
Non. L’extraction, le regroupement et l’indexation doivent également se terminer avec succès.
Pouvez-vous comparer directement les vecteurs de différents modèles ?
Généralement non ; leurs espaces ne sont pas automatiquement compatibles.
Quel résultat cet exercice devrait-il produire ?
Le passage pertinent préserve la date limite et la condition, ainsi que l'identifiant de la source.
Les mots à retenir
- Gros morceau: Un passage de document pouvant être récupéré séparément.
- Intégration: Une représentation numérique utilisée pour comparer le contenu.
- Régresie / Régression: Un changement qui brise un cas précédemment correct.
Sources et votre prochaine étape
Pour préparer : D02 — Téléchargement, indexation rapide et indexation par lots