RAG opnieuw rangschikken: eerst beter bewijs

Rerank zorgt voor een zorgvuldigere selectie na het ophalen. Het helpt als er goed bewijsmateriaal bestaat, maar te laag scoort.

Deze stappen verwijzen naar de functies die in de applicatiecode zijn geïdentificeerd. Dit materiaal is niet gevalideerd op een live exemplaar; controleer de documentatie en de opties in uw versie.

Hoe het werkt, stap voor stap

Zoeken en rangschikken zijn verschillende fasen

Retrieval selecteert kandidaten en rangschikt ze. top_k is het aantal opgevraagde resultaten; het vergroten ervan kan bewijs opleveren, maar ook lawaai. Een reranker onderzoekt de vraag en kandidaten nader. Het kan een ontbrekende passage in de oorspronkelijke lijst niet herstellen. BM25 zoekt naar lexicale overeenkomsten en helpt met exacte codes; vector zoeken zoekt naar semantische gelijkenis. RRF combineert posities in gerangschikte lijsten in plaats van scores toe te voegen met incompatibele eenheden. Extra fasen moeten hun kwaliteit, latentie en kosten rechtvaardigen door middel van testen.

RAG heeft toegang tot bewijsmateriaal, maar herschoolt niet

RAG betekent retrieval-augmentedgeneration: ophalen levert relevante passages op voordat het model antwoordt. Ingestion bereidt documenten voor, terwijl de uitvoering van query's de index doorzoekt en context opbouwt. Een inbeddingsmodel geeft tekst numeriek weer; het responsmodel schrijft het antwoord. Rerankers, vision-, grafiek- en routermodellen vervullen indien nodig verschillende rollen. RAG helpt bij privé- of veranderende informatie, maar garandeert de waarheid niet. Gebruik een geautoriseerde API voor saldi, exacte inventarisatie of machtigingen; een oud document is geen betrouwbare bron voor de huidige stand van zaken.

De kosten behoren tot het hele traject

Tel modelaanroepen, invoer- en uitvoertokens, inbedding, herrangschikking, visie en tools. Redeneren kan factureerbare tokens verbruiken zonder een even lange zichtbare reactie. Indexeringskosten en gesprekskosten verschillen. Gebruik actuele prijzen in plaats van een vast nummer van een cursus. Een eenvoudige schatting is tokens/1.000.000 × prijs plus extra bewerkingen; aanvraagkredieten kunnen hun eigen conversie hebben. Vergelijk de kosten per succesvolle taak, niet alleen per gesprek. Parallelle uitvoering kan de latentie verminderen en tegelijkertijd het totale verbruik verhogen. Een budget heeft een geverifieerde stopvoorwaarde nodig.

Gedetailleerd laboratorium

Interpreteer initiële en definitieve lijsten

initial_top_k bepaalt het aantal opgehaalde kandidaten; final_top_k bepaalt hoeveel er overblijven na herrangschikking. Controleer de geselecteerde reranker en de kosten ervan. De leveringstekst kan semantisch dicht bij een antwoordvraag liggen, zonder dat dit passend bewijs is.

Vergelijk runs met een identiek corpus-, query- en responsmodel. Als de betreffende passage op beide initiële lijsten ontbreekt, kan een herschikking de oorzaak niet oplossen. Indien aanwezig en beter gerangschikt, controleer dan ook het uiteindelijke antwoord: een betere lijst garandeert niet dat aan elke voorwaarde wordt voldaan.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Ophalen levert bewijsmateriaal op. Als een antwoordmodel is ingeschakeld, wordt er ook een antwoord samengesteld; Het opgehaalde bewijsmateriaal moet nog worden gecontroleerd. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Het terugkeerbeleid is de achtste kandidaat. initial_top_k=15 omvat het; final_top_k=5 behoudt de meest relevante, opnieuw gerangschikte passages. Met slechts vier initiële kandidaten zou deze afwezig zijn.

template: Rerank
initial_top_k: 15
final_top_k: 5

Probeer het zelf

1. Configureer een reranker, initial_top_k=15 en final_top_k=5 als experiment, niet als universele instellingen.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Correct bewijsmateriaal is inbegrepen en beter geordend; vergelijk kwaliteit en kosten met Naive. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Herrangschikking kan niet-geïndexeerde of ongeautoriseerde bronnen niet herstellen. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Kan een reranker een niet-geïndexeerd document repareren?

Nee. De passage moet eerst voorkomen in de index en kandidatenlijst.

Verandert RAG de LLM-parameters?

Nee. Het levert context op verzoektijd; parameterwijzigingen horen bij training.

Welk resultaat moet deze oefening opleveren?

Correct bewijsmateriaal is inbegrepen en beter geordend; vergelijk kwaliteit en kosten met Naive.

Begrippen om te onthouden

• Herrangschikken: Een zorgvuldiger herschikking van reeds opgehaalde kandidaten.
• Ophalen: Relevante informatie vinden in toegankelijke bronnen.
• Latentie / Latentie: Tijd tot een bruikbaar resultaat.

Bronnen en uw volgende stap

• Lewis et al. — Retrieval-Augmented Generation
• OpenRouter — Redeneertokens

Ter voorbereiding: R03 — Naïeve RAG: uw basislijn