Evalueren van agenten en teams

Een agent kan na een verkeerde actie een goed antwoord schrijven. Evalueer het hele traject.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Het model doet voorstellen, de tool voert uit

Tool calling produceert een oproepverzoek met een naam en argumenten. De applicatie valideert het schema, de machtigingen en de limieten vóór uitvoering. Het resultaat keert terug naar de context voor de volgende stap. get_product_stock neemt bijvoorbeeld een SKU en retourneert een hoeveelheid; in de beschrijving moet worden uitgelegd dat er geen producten worden gereserveerd. Onderscheid lege resultaten, validatiefouten, ontbrekende toegang en time-outs. Geldige JSON bewijst niet dat de argumenten correct zijn of dat de actie is geautoriseerd. Houd bij externe effecten ook rekening met dubbele uitvoering.

Een workflow heeft een expliciete structuur

Een knooppunt is een fase, een rand is een overgang en de status draagt ​​resultaten tussen fasen over. Een werkstroom heeft een door de toepassing gedefinieerd pad, hoewel het model enkele vertakkingen kan kiezen. Agentsystemen omvatten zowel workflows als dynamisch werkende agenten. Nymrio biedt ReAct, Reflection, Sequential, Orchestrator, Router, Parallel en Plan-and-Execute. Elke verandering van coördinatie; het maakt een model niet automatisch tot een expert. Meer agenten betekent meer oproepen en contracten tussen rollen. Begin met de eenvoudigste oplossing die uw tests doorstaat.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Een agent meldt het juiste aantal, maar heeft een andere SKU opgevraagd. Een team haalt beleid aan, maar laat meningsverschillen tussen werknemers achterwege. Beide zijn mislukkingen, ondanks de overtuigende definitieve tekst.

Probeer het zelf

1. Vergelijk twee sporen en markeer de eerste afwijking van het doel.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Controleer argumenten, rollen, bewerkingen, bronnen en stoppen, en vervolgens de tekstkwaliteit. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

LLM-als-rechter kan bevooroordeeld zijn en heeft menselijke kalibratie nodig. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Wie voert een door het model voorgestelde oproep uit?

De applicatie of hostservice na validatie. Het model krijgt niet automatisch onbeperkte toegang.

Welk resultaat moet deze oefening opleveren?

Controleer argumenten, rollen, bewerkingen, bronnen en stoppen, en vervolgens de tekstkwaliteit.

Begrippen om te onthouden

• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Gereedschap bellen: Een gestructureerd verzoek om een ​​externe mogelijkheid te gebruiken.
• Knikken: Een fase in een uitvoeringsgrafiek.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten

Ter voorbereiding: E02 — RAG stap voor stap evalueren