Evalueer RAG stap voor stap

Scheid het gevonden bewijsmateriaal van de manier waarop het model het gebruikt. Anders optimaliseert u mogelijk de verkeerde fase.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Zoeken en rangschikken zijn verschillende fasen

Retrieval selecteert kandidaten en rangschikt ze. top_k is het aantal opgevraagde resultaten; het vergroten ervan kan bewijs opleveren, maar ook lawaai. Een reranker onderzoekt de vraag en kandidaten nader. Het kan een ontbrekende passage in de oorspronkelijke lijst niet herstellen. BM25 zoekt naar lexicale overeenkomsten en helpt met exacte codes; vector zoeken zoekt naar semantische gelijkenis. RRF combineert posities in gerangschikte lijsten in plaats van scores toe te voegen met incompatibele eenheden. Extra fasen moeten hun kwaliteit, latentie en kosten rechtvaardigen door middel van testen.

Vloeiendheid en waarheid worden afzonderlijk gecontroleerd

Een hallucinatie is niet-ondersteunde of onjuiste inhoud die als antwoord wordt gepresenteerd. Het kan voortkomen uit ontbrekende informatie, onduidelijkheid of verkeerd gecombineerde patronen. Vraag om bewijsmateriaal en controleer het originele document, de datum, de eenheden en de voorwaarden. Een echt citaat kan de bewering nog steeds niet ondersteunen. Gebruik actuele bronnen voor actuele feiten, een rekenmachine voor rekenen, en ‘kan niet vaststellen’ wanneer bewijs ontbreekt. Beschouw het in proza ​​uitgedrukte vertrouwen niet als een gekalibreerde waarschijnlijkheid.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Haal een van de twee relevante passages op in vier resultaten: herinnering=1/2 en precisie=1/4 voor dat geval. Het antwoord kan nog steeds een voorwaarde uit de opgehaalde passage weglaten.

Probeer het zelf

1. Label relevante passages voor vijf vragen en vergelijk het ophalen met het genereren.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Rapporteer de bewijsdekking, de relevantie van de resultaten en de ondersteuning van de definitieve claim afzonderlijk. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Een hoge vectorscore vervangt het labelen van relevantie niet. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Kan een reranker een niet-geïndexeerd document repareren?

Nee. De passage moet eerst voorkomen in de index en kandidatenlijst.

Welk resultaat moet deze oefening opleveren?

Rapporteer de bewijsdekking, de relevantie van de resultaten en de ondersteuning van de definitieve claim afzonderlijk.

Begrippen om te onthouden

• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Herrangschikken: Een zorgvuldiger herschikking van reeds opgehaalde kandidaten.
• Aarding: Een antwoord baseren op verifieerbaar bewijs.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten
• Lewis et al. — Retrieval-Augmented Generation
• Hugging Face — LLM Course

Ter voorbereiding: E01 — Hoe te meten of AI nuttig is