De ce RAG răspunde prost?
Repară etapa care a eșuat.
Ce vei învăța
- Explici: documentul bun precede răspunsul bun
- Aplici ideea într-un exemplu: De ce RAG răspunde prost?
- Recunoști limitele și verifici rezultatul exercițiului
Repară etapa care a eșuat. Schimbarea promptului nu ajută când pasajul necesar nu ajunge niciodată în context.
Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.
Cum funcționează, pas cu pas
Documentul bun precede răspunsul bun
Pregătește texte lizibile, titluri clare, tabele cu antete și surse fără duplicări inutile. Chunking împarte documentul în fragmente care pot fi recuperate separat; overlap păstrează continuitatea dintre fragmente vecine. Un segment prea scurt pierde condițiile, iar unul prea mare introduce zgomot. Metadatele păstrează sursa, poziția și versiunea, precum și domeniul de acces unde implementarea îl aplică. Upload-ul salvează fișierul, indexarea îl face căutabil. Dacă sursa se schimbă, verifică dispariția segmentelor vechi și reapariția celor noi înainte de a anunța că baza este actualizată.
Căutarea și clasamentul sunt etape diferite
Retrieval selectează candidați, iar ranking stabilește ordinea lor. top_k este numărul de rezultate cerut; mărirea lui poate aduce dovezi, dar și zgomot. Un reranker analizează mai atent întrebarea și candidații. Nu poate recupera un pasaj care nu a intrat în lista inițială. BM25 caută potriviri lexicale și ajută pentru coduri exacte; căutarea vectorială caută asemănări semantice. Fuziunea RRF combină pozițiile din liste, nu adună scoruri cu unități incompatibile. Mai multe etape trebuie justificate prin teste, timp și cost.
Fluența și adevărul se verifică separat
O halucinație este un conținut nesusținut sau incorect prezentat drept răspuns. Poate apărea din lipsă de informație, ambiguitate sau combinarea greșită a unor tipare. Cere dovezi și verifică documentul original, data, unitățile și condițiile. O citare care există poate să nu susțină afirmația. Pentru date actuale folosește o sursă actuală; pentru calcule folosește un calculator; pentru lipsa datelor acceptă „nu pot determina”. Nu trata nivelul de încredere exprimat în text drept probabilitate calibrată.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
Textul există în PDF? A fost extras? Există chunk-ul? A intrat între candidați? Este în context? Răspunsul îl folosește corect? Aceste întrebări separă șase cauze.
Încearcă tu
- Diagnostichează document gol, pasaj prea jos, condiție tăiată, sursă veche și afirmație inventată.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Identifici prima etapă cu date lipsă sau greșite și testezi o schimbare țintită. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
Mai mult top_k nu repară o parsare goală. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
Upload terminat înseamnă document gata pentru RAG?
Nu. Extragerea, segmentarea și indexarea trebuie să se termine cu succes.
Un reranker repară un document neindexat?
Nu. Mai întâi trebuie ca pasajul să existe în index și în lista de candidați.
Ce rezultat trebuie să obții în acest exercițiu?
Identifici prima etapă cu date lipsă sau greșite și testezi o schimbare țintită.
Cuvinte de ținut minte
- Chunk: Fragment de document care poate fi căutat separat.
- Rerank: Reordonarea mai atentă a candidaților deja găsiți.
- Grounding: Ancorarea răspunsului în dovezi verificabile.
Surse și următorul pas
Pentru pregătire: D04 — Întrebări bune pentru a testa RAG