Actualizare, ștergere și reindexare
Actualizarea documentului nu este completă până nu verifici că răspunsurile folosesc versiunea nouă.
Ce vei învăța
- Explici: documentul bun precede răspunsul bun
- Aplici ideea într-un exemplu: Actualizare, ștergere și reindexare
- Recunoști limitele și verifici rezultatul exercițiului
Actualizarea documentului nu este completă până nu verifici că răspunsurile folosesc versiunea nouă. Reindexarea schimbă reprezentarea căutabilă.
Pașii se referă la funcționalități identificate în codul aplicației. Validarea pe o instanță live nu a fost efectuată pentru acest material; verifică documentația și opțiunile din versiunea ta.
Cum funcționează, pas cu pas
Documentul bun precede răspunsul bun
Pregătește texte lizibile, titluri clare, tabele cu antete și surse fără duplicări inutile. Chunking împarte documentul în fragmente care pot fi recuperate separat; overlap păstrează continuitatea dintre fragmente vecine. Un segment prea scurt pierde condițiile, iar unul prea mare introduce zgomot. Metadatele păstrează sursa, poziția și versiunea, precum și domeniul de acces unde implementarea îl aplică. Upload-ul salvează fișierul, indexarea îl face căutabil. Dacă sursa se schimbă, verifică dispariția segmentelor vechi și reapariția celor noi înainte de a anunța că baza este actualizată.
Coordonate ale sensului
Un embedding este un vector de numere calculat de un model. Texte cu sens apropiat tind să fie apropiate în spațiul acelui model, dar similaritatea nu garantează relevanța. Întrebarea și documentele trebuie reprezentate într-un spațiu compatibil: model și dimensiune potrivite. O hartă cu două axe este doar o ilustrare; vectorii reali pot avea sute sau mii de dimensiuni. Când schimbi modelul ori dimensiunea, reconstruiește indexul și retestează. Similaritatea cosinus compară direcția vectorilor; nu este probabilitatea ca un răspuns să fie adevărat.
Definește succesul înainte de optimizare
Pregătește un set de cereri reprezentative și răspunsuri sau proprietăți așteptate. Include cazuri obișnuite, ambigue, fără date și cu erori de unelte. Pentru RAG măsoară separat găsirea dovezii și corectitudinea răspunsului. Recall@k urmărește proporția dovezilor relevante găsite în primele k rezultate; precision@k urmărește proporția rezultatelor relevante. Pentru agenți urmărește și acțiunile, accesul și oprirea. Un LLM-as-judge poate accelera evaluarea, dar se calibrează față de oameni. Nu modifica simultan promptul, modelul și indexul dacă vrei să înțelegi cauza îmbunătățirii.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
În fixture schimbi 14 în 30 de zile. Elimini versiunea veche, indexezi noua sursă și rerulezi întrebările. Schimbarea embedding-ului cere compatibilitate pentru corpus și queries.
Încearcă tu
- Fă o migrare pe date sintetice și păstrează setul de regresie.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Nu mai recuperezi fragmente cu regula veche; răspunsurile indică noua sursă. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
Nu combina în același index vectori incompatibili. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
Upload terminat înseamnă document gata pentru RAG?
Nu. Extragerea, segmentarea și indexarea trebuie să se termine cu succes.
Poți compara direct vectori de la două modele diferite?
În general nu; spațiile lor nu sunt automat compatibile.
Ce rezultat trebuie să obții în acest exercițiu?
Nu mai recuperezi fragmente cu regula veche; răspunsurile indică noua sursă.
Cuvinte de ținut minte
- Chunk: Fragment de document care poate fi căutat separat.
- Embedding: Reprezentare numerică folosită pentru compararea conținutului.
- Regresie / Regression: O schimbare care strică un caz anterior corect.
Surse și următorul pas
Pentru pregătire: D05 — De ce RAG răspunde prost?