Hoe je kunt meten of AI nuttig is

Het nut wordt gemeten in gebruikersresultaten. Definieer criteria voordat u de antwoorden ziet, in plaats van de regels achteraf te wijzigen.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Vloeiendheid en waarheid worden afzonderlijk gecontroleerd

Een hallucinatie is niet-ondersteunde of onjuiste inhoud die als antwoord wordt gepresenteerd. Het kan voortkomen uit ontbrekende informatie, onduidelijkheid of verkeerd gecombineerde patronen. Vraag om bewijsmateriaal en controleer het originele document, de datum, de eenheden en de voorwaarden. Een echt citaat kan de bewering nog steeds niet ondersteunen. Gebruik actuele bronnen voor actuele feiten, een rekenmachine voor rekenen, en ‘kan niet vaststellen’ wanneer bewijs ontbreekt. Beschouw het in proza ​​uitgedrukte vertrouwen niet als een gekalibreerde waarschijnlijkheid.

De kosten behoren tot het hele traject

Tel modelaanroepen, invoer- en uitvoertokens, inbedding, herrangschikking, visie en tools. Redeneren kan factureerbare tokens verbruiken zonder een even lange zichtbare reactie. Indexeringskosten en gesprekskosten verschillen. Gebruik actuele prijzen in plaats van een vast nummer van een cursus. Een eenvoudige schatting is tokens/1.000.000 × prijs plus extra bewerkingen; aanvraagkredieten kunnen hun eigen conversie hebben. Vergelijk de kosten per succesvolle taak, niet alleen per gesprek. Parallelle uitvoering kan de latentie verminderen en tegelijkertijd het totale verbruik verhogen. Een budget heeft een geverifieerde stopvoorwaarde nodig.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Voor FAQ-score correcte deadline, behouden voorwaarden, duidelijkheid en afwezigheid van verzonnen claims. Elegant proza ​​met een verkeerde deadline voldoet niet aan het kritische criterium.

Probeer het zelf

1. Stel een rubriek samen voor twintig verzoeken en specificeer welke fouten de lancering blokkeren.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

De rubriek scheidt de vereiste criteria van stijlvoorkeuren en maakt herhaalbare vergelijkingen mogelijk. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Een gemiddelde kan een zeldzame maar belangrijke mislukking verbergen. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Is een link in een antwoord voldoende?

Nee; het moet de specifieke claim ondersteunen en passen bij het tijdstip en de omstandigheden.

Welk resultaat moet deze oefening opleveren?

De rubriek scheidt de vereiste criteria van stijlvoorkeuren en maakt herhaalbare vergelijkingen mogelijk.

Begrippen om te onthouden

• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Aarding: Een antwoord baseren op verifieerbaar bewijs.
• Latentie / Latentie: Tijd tot een bruikbaar resultaat.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten
• Hugging Face — LLM Course
• OpenRouter — Redeneertokens

Ter voorbereiding: U02 — Speeltuin als laboratorium · D04 — Goede vragen voor het testen van RAG