Rerank RAG: pune dovezile bune în față
Rerank adaugă o selecție mai atentă după retrieval.
Ce vei învăța
- Explici: căutarea și clasamentul sunt etape diferite
- Aplici ideea într-un exemplu: Rerank RAG: pune dovezile bune în față
- Recunoști limitele și verifici rezultatul exercițiului
Rerank adaugă o selecție mai atentă după retrieval. Este util când pasajul bun există, dar apare prea jos în clasament.
Pașii se referă la funcționalități identificate în codul aplicației. Validarea pe o instanță live nu a fost efectuată pentru acest material; verifică documentația și opțiunile din versiunea ta.
Cum funcționează, pas cu pas
Căutarea și clasamentul sunt etape diferite
Retrieval selectează candidați, iar ranking stabilește ordinea lor. top_k este numărul de rezultate cerut; mărirea lui poate aduce dovezi, dar și zgomot. Un reranker analizează mai atent întrebarea și candidații. Nu poate recupera un pasaj care nu a intrat în lista inițială. BM25 caută potriviri lexicale și ajută pentru coduri exacte; căutarea vectorială caută asemănări semantice. Fuziunea RRF combină pozițiile din liste, nu adună scoruri cu unități incompatibile. Mai multe etape trebuie justificate prin teste, timp și cost.
RAG este acces la dovezi, nu reantrenare
RAG înseamnă retrieval-augmented generation: căutarea furnizează fragmente relevante modelului înainte de răspuns. Ingestia pregătește documentele, iar interogarea caută în index și construiește contextul. Modelul de embeddings reprezintă textul numeric; modelul de răspuns redactează. Rerankerul, vision, graph și router au roluri diferite, când sunt necesare. RAG ajută pentru informație privată sau schimbătoare, dar nu garantează adevărul. Pentru solduri, stoc exact sau permisiuni folosește un API autorizat; un document vechi nu este sursă sigură pentru starea curentă.
Costul aparține întregului traseu
Numără apelurile de model, tokenii de intrare și ieșire, embeddings, reranking, vision și uneltele. Reasoning poate consuma tokeni facturați fără un răspuns vizibil la fel de lung. Costul indexării și costul conversației sunt diferite. Folosește tarifele curente, nu o cifră permanentă din curs. Estimarea simplă este tokeni/1.000.000 × tarif, plus operații suplimentare; creditele aplicației pot folosi propria conversie. Compară costul per sarcină reușită, nu doar per apel. Parallel poate reduce latența, dar crește consumul total. Bugetul trebuie să aibă o condiție de oprire verificată.
Laborator detaliat
Interpretează lista inițială și finală
initial_top_k descrie câți candidați sunt recuperați, iar final_top_k câți păstrezi după reranking. Verifică modelul rerank selectat și costul său. Un pasaj de livrare poate fi apropiat semantic de o întrebare de retur, dar nu este dovada potrivită.
Compară două rulari păstrând corpusul, întrebarea și modelul de răspuns constante. Dacă pasajul relevant este absent în ambele liste inițiale, reranking nu rezolvă cauza. Dacă este prezent și ordinea se îmbunătățește, verifică și răspunsul final: o listă mai bună nu garantează că modelul folosește toate condițiile.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Recuperarea întoarce dovezi. Dacă este activat un model de răspuns, acesta compune și un răspuns; dovezile recuperate trebuie verificate. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
Politica de retur este al optulea candidat. initial_top_k=15 o include; final_top_k=5 păstrează cele mai relevante pasaje după reranking. Dacă lista inițială avea doar patru rezultate, pasajul lipsea.
template: Rerank
initial_top_k: 15
final_top_k: 5
Încearcă tu
- Configurează modelul rerank, initial_top_k=15 și final_top_k=5 ca experiment, nu valori universale.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Dovada corectă este inclusă și ordonată mai bine; compari calitatea și costul cu Naive. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
Reranking nu repară o sursă neindexată sau neautorizată. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
Un reranker repară un document neindexat?
Nu. Mai întâi trebuie ca pasajul să existe în index și în lista de candidați.
RAG modifică parametrii LLM-ului?
Nu. Furnizează context la cerere; schimbarea parametrilor aparține antrenării.
Ce rezultat trebuie să obții în acest exercițiu?
Dovada corectă este inclusă și ordonată mai bine; compari calitatea și costul cu Naive.
Cuvinte de ținut minte
- Rerank: Reordonarea mai atentă a candidaților deja găsiți.
- Retrieval: Căutarea informației relevante în surse accesibile.
- Latență / Latency: Timpul până la rezultatul util.
Surse și următorul pas
Pentru pregătire: R03 — Naive RAG: punctul de plecare