Goede vragen voor het testen van RAG

Testvragen brengen echte behoeften in kaart. Een goede set bevat ook vragen die de documenten niet kunnen beantwoorden.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

RAG heeft toegang tot bewijsmateriaal, maar herschoolt niet

RAG betekent retrieval-augmentedgeneration: ophalen levert relevante passages op voordat het model antwoordt. Ingestion bereidt documenten voor, terwijl de uitvoering van query's de index doorzoekt en context opbouwt. Een inbeddingsmodel geeft tekst numeriek weer; het responsmodel schrijft het antwoord. Rerankers, vision-, grafiek- en routermodellen vervullen indien nodig verschillende rollen. RAG helpt bij privé- of veranderende informatie, maar garandeert de waarheid niet. Gebruik een geautoriseerde API voor saldi, exacte inventarisatie of machtigingen; een oud document is geen betrouwbare bron voor de huidige stand van zaken.

Vloeiendheid en waarheid worden afzonderlijk gecontroleerd

Een hallucinatie is niet-ondersteunde of onjuiste inhoud die als antwoord wordt gepresenteerd. Het kan voortkomen uit ontbrekende informatie, onduidelijkheid of verkeerd gecombineerde patronen. Vraag om bewijsmateriaal en controleer het originele document, de datum, de eenheden en de voorwaarden. Een echt citaat kan de bewering nog steeds niet ondersteunen. Gebruik actuele bronnen voor actuele feiten, een rekenmachine voor rekenen, en ‘kan niet vaststellen’ wanneer bewijs ontbreekt. Beschouw het in proza ​​uitgedrukte vertrouwen niet als een gekalibreerde waarschijnlijkheid.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Maak elk vier vragen over deadlines, exacte codes, relaties, onduidelijkheid en ontbrekende gegevens. Leg voor elk bewijsmateriaal en het verwachte gedrag vast.

Probeer het zelf

1. Vul 20 rijen in met vraag, bron, verwacht antwoord en categorie.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

U heeft 20 gevallen, waaronder “informatie niet beschikbaar”; verzonnen inhoud geldt niet als volledigheid. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Woordelijke documentvragen zijn te eenvoudig als enige test. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Verandert RAG de LLM-parameters?

Nee. Het levert context op verzoektijd; parameterwijzigingen horen bij training.

Welk resultaat moet deze oefening opleveren?

U heeft 20 gevallen, waaronder “informatie niet beschikbaar”; verzonnen inhoud geldt niet als volledigheid.

Begrippen om te onthouden

• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Ophalen: Relevante informatie vinden in toegankelijke bronnen.
• Aarding: Een antwoord baseren op verifieerbaar bewijs.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten
• Lewis et al. — Retrieval-Augmented Generation
• Hugging Face — LLM Course

Ter voorbereiding: D03 — Chunking en metagegevens