Evaluarea RAG separat pe etape

Separă dovezile găsite de felul în care modelul le folosește. Altfel poți optimiza etapa greșită.

Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.

Cum funcționează, pas cu pas

Definește succesul înainte de optimizare

Pregătește un set de cereri reprezentative și răspunsuri sau proprietăți așteptate. Include cazuri obișnuite, ambigue, fără date și cu erori de unelte. Pentru RAG măsoară separat găsirea dovezii și corectitudinea răspunsului. Recall@k urmărește proporția dovezilor relevante găsite în primele k rezultate; precision@k urmărește proporția rezultatelor relevante. Pentru agenți urmărește și acțiunile, accesul și oprirea. Un LLM-as-judge poate accelera evaluarea, dar se calibrează față de oameni. Nu modifica simultan promptul, modelul și indexul dacă vrei să înțelegi cauza îmbunătățirii.

Căutarea și clasamentul sunt etape diferite

Retrieval selectează candidați, iar ranking stabilește ordinea lor. top_k este numărul de rezultate cerut; mărirea lui poate aduce dovezi, dar și zgomot. Un reranker analizează mai atent întrebarea și candidații. Nu poate recupera un pasaj care nu a intrat în lista inițială. BM25 caută potriviri lexicale și ajută pentru coduri exacte; căutarea vectorială caută asemănări semantice. Fuziunea RRF combină pozițiile din liste, nu adună scoruri cu unități incompatibile. Mai multe etape trebuie justificate prin teste, timp și cost.

Fluența și adevărul se verifică separat

O halucinație este un conținut nesusținut sau incorect prezentat drept răspuns. Poate apărea din lipsă de informație, ambiguitate sau combinarea greșită a unor tipare. Cere dovezi și verifică documentul original, data, unitățile și condițiile. O citare care există poate să nu susțină afirmația. Pentru date actuale folosește o sursă actuală; pentru calcule folosește un calculator; pentru lipsa datelor acceptă „nu pot determina”. Nu trata nivelul de încredere exprimat în text drept probabilitate calibrată.

Harta vizuală

Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.

Un exemplu complet

Din două pasaje relevante găsești unul între primele patru rezultate: recall=1/2, precision=1/4 pentru acel caz. Chiar și așa, răspunsul poate omite condiția din pasajul găsit.

Încearcă tu

1. Etichetează pasaje relevante pentru cinci întrebări și compară retrieval cu generarea.
2. Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
3. Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
4. Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
5. Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.

Soluție comentată

Raportezi separat acoperirea dovezilor, relevanța rezultatelor și susținerea afirmațiilor finale. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.

Când merită și ce poate merge prost

Un scor vectorial mare nu înlocuiește o etichetă de relevanță. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.

Verifică ce ai înțeles

O notă bună de stil dovedește succesul unui agent?

Nu. Agentul poate scrie frumos după ce a folosit unealta sau datele greșite.

Un reranker repară un document neindexat?

Nu. Mai întâi trebuie ca pasajul să existe în index și în lista de candidați.

Ce rezultat trebuie să obții în acest exercițiu?

Raportezi separat acoperirea dovezilor, relevanța rezultatelor și susținerea afirmațiilor finale.

Cuvinte de ținut minte

• Regresie / Regression: O schimbare care strică un caz anterior corect.
• Rerank: Reordonarea mai atentă a candidaților deja găsiți.
• Grounding: Ancorarea răspunsului în dovezi verificabile.

Surse și următorul pas

• LangGraph — Workflows and agents
• Lewis et al. — Retrieval-Augmented Generation
• Hugging Face — LLM Course

Pentru pregătire: E01 — Cum măsori dacă AI este utilă?