Embeddings et recherche de vecteurs

Les intégrations permettent une recherche par sens même lorsque la question diffère du libellé du document. Les vecteurs sont des coordonnées spécifiques au modèle.

Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.

Comment ça marche, étape par étape

Coordonnées pour le sens

Un plongement est un vecteur numérique calculé par un modèle. Les textes ayant des significations connexes ont tendance à se trouver les uns à côté des autres dans l’espace de ce modèle, mais la similitude ne garantit pas la pertinence. Les requêtes et les documents doivent partager un espace compatible : modèle et dimensions adaptés. Une carte à deux axes est illustrative ; les vecteurs réels peuvent avoir des centaines ou des milliers de dimensions. Reconstruisez et testez à nouveau l'index lors de la modification du modèle ou des dimensions. La similarité cosinus compare les directions vectorielles ; ce n'est pas la probabilité qu'une réponse soit vraie.

La recherche et le classement sont des étapes différentes

La récupération sélectionne les candidats et les classe. top_k est le nombre de résultats demandés ; l’augmenter peut apporter des preuves mais aussi du bruit. Un reranker examine la requête et les candidats de plus près. Il ne peut pas récupérer un passage manquant dans la liste initiale. BM25 recherche des correspondances lexicales et aide avec les codes exacts ; la recherche vectorielle recherche la similarité sémantique. RRF combine les positions dans les listes classées au lieu d'ajouter des scores avec des unités incompatibles. Les étapes supplémentaires doivent justifier leur qualité, leur latence et leur coût par des tests.

Les bons documents précèdent les bonnes réponses

Préparez un texte lisible, des titres clairs, des tableaux avec en-têtes et sources sans doublons inutiles. Le chunking divise un document en passages récupérables séparément ; le chevauchement préserve la continuité entre voisins. Un petit morceau peut perdre des conditions, tandis qu'un gros morceau introduit du bruit. Les métadonnées préservent la source, la position et la version, ainsi que la portée d'accès lorsque l'implémentation l'impose. Le téléchargement stocke le fichier ; l'indexation le rend consultable. Lorsqu'une source change, vérifiez que les anciens fragments disparaissent et que les nouveaux sont récupérés avant de déclarer la base de connaissances actuelle.

Le schéma explicatif

Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. La récupération renvoie des preuves. Si un modèle de réponse est activé, il compose également une réponse ; les preuves récupérées doivent encore être vérifiées. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.

Un exemple complet

« Quand arrive mon colis ? » Vous pouvez trouver « La livraison prend 2 à 3 jours ». « Code LX-240 » comporte également un composant de correspondance exacte que la recherche lexicale peut aider.

Essayez-le vous-même

1. Comparez deux questions équivalentes et une avec un code exact différent.
2. Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
3. Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
4. Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
5. Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.

Une solution expliquée

Identifiez le passage concerné et vérifiez ses conditions ; la similarité n'est pas une probabilité de vérité. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.

Quand cette approche est utile et quelles sont ses limites

Des dimensions égales ne garantissent pas des espaces vectoriels compatibles. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.

Vérifiez vos connaissances

Pouvez-vous comparer directement les vecteurs de différents modèles ?

Généralement non ; leurs espaces ne sont pas automatiquement compatibles.

Un reranker peut-il réparer un document non indexé ?

Non. Le passage doit d'abord exister dans l'index et la liste des candidats.

Quel résultat cet exercice devrait-il produire ?

Identifiez le passage concerné et vérifiez ses conditions ; la similarité n'est pas une probabilité de vérité.

Les mots à retenir

• Intégration: Une représentation numérique utilisée pour comparer le contenu.
• Reclassement: Une réorganisation plus soignée des candidats déjà récupérés.
• Gros morceau: Un passage de document pouvant être récupéré séparément.

Sources et votre prochaine étape

• Lewis et al. — Génération augmentée par récupération

Pour préparer : R01 — Qu'est-ce que RAG et pourquoi est-il utile ?