Embeddings și căutare vectorială
Embeddings permit căutarea după sens, chiar când întrebarea folosește alte cuvinte decât documentul.
Ce vei învăța
- Explici: coordonate ale sensului
- Aplici ideea într-un exemplu: Embeddings și căutare vectorială
- Recunoști limitele și verifici rezultatul exercițiului
Embeddings permit căutarea după sens, chiar când întrebarea folosește alte cuvinte decât documentul. Vectorele sunt coordonate specifice modelului.
Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.
Cum funcționează, pas cu pas
Coordonate ale sensului
Un embedding este un vector de numere calculat de un model. Texte cu sens apropiat tind să fie apropiate în spațiul acelui model, dar similaritatea nu garantează relevanța. Întrebarea și documentele trebuie reprezentate într-un spațiu compatibil: model și dimensiune potrivite. O hartă cu două axe este doar o ilustrare; vectorii reali pot avea sute sau mii de dimensiuni. Când schimbi modelul ori dimensiunea, reconstruiește indexul și retestează. Similaritatea cosinus compară direcția vectorilor; nu este probabilitatea ca un răspuns să fie adevărat.
Căutarea și clasamentul sunt etape diferite
Retrieval selectează candidați, iar ranking stabilește ordinea lor. top_k este numărul de rezultate cerut; mărirea lui poate aduce dovezi, dar și zgomot. Un reranker analizează mai atent întrebarea și candidații. Nu poate recupera un pasaj care nu a intrat în lista inițială. BM25 caută potriviri lexicale și ajută pentru coduri exacte; căutarea vectorială caută asemănări semantice. Fuziunea RRF combină pozițiile din liste, nu adună scoruri cu unități incompatibile. Mai multe etape trebuie justificate prin teste, timp și cost.
Documentul bun precede răspunsul bun
Pregătește texte lizibile, titluri clare, tabele cu antete și surse fără duplicări inutile. Chunking împarte documentul în fragmente care pot fi recuperate separat; overlap păstrează continuitatea dintre fragmente vecine. Un segment prea scurt pierde condițiile, iar unul prea mare introduce zgomot. Metadatele păstrează sursa, poziția și versiunea, precum și domeniul de acces unde implementarea îl aplică. Upload-ul salvează fișierul, indexarea îl face căutabil. Dacă sursa se schimbă, verifică dispariția segmentelor vechi și reapariția celor noi înainte de a anunța că baza este actualizată.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Recuperarea întoarce dovezi. Dacă este activat un model de răspuns, acesta compune și un răspuns; dovezile recuperate trebuie verificate. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
„Când ajunge coletul?” poate găsi „Durata livrării este 2–3 zile”. „Cod LX-240” are și o componentă exactă pentru care căutarea lexicală poate ajuta.
Încearcă tu
- Compară două întrebări cu același sens și una cu un cod exact diferit.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Identifici pasajul relevant și verifici condițiile sale; similaritatea nu devine probabilitate de adevăr. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
Dimensiuni egale nu garantează spații vectoriale compatibile. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
Poți compara direct vectori de la două modele diferite?
În general nu; spațiile lor nu sunt automat compatibile.
Un reranker repară un document neindexat?
Nu. Mai întâi trebuie ca pasajul să existe în index și în lista de candidați.
Ce rezultat trebuie să obții în acest exercițiu?
Identifici pasajul relevant și verifici condițiile sale; similaritatea nu devine probabilitate de adevăr.
Cuvinte de ținut minte
- Embedding: Reprezentare numerică folosită pentru compararea conținutului.
- Rerank: Reordonarea mai atentă a candidaților deja găsiți.
- Chunk: Fragment de document care poate fi căutat separat.
Surse și următorul pas
Pentru pregătire: R01 — Ce este RAG și de ce este util?