Speeltuin als laboratorium

Playground maakt gespreksstappen zichtbaar. Gebruik het voor gecontroleerde vergelijkingen in plaats van alleen succesvolle demo's.

Deze stappen verwijzen naar de functies die in de applicatiecode zijn geïdentificeerd. Dit materiaal is niet gevalideerd op een live exemplaar; controleer de documentatie en de opties in uw versie.

Hoe het werkt, stap voor stap

Een begrensde agentlus

Een agent combineert een model met hulpmiddelen, een doel en een staat. Het observeert het verzoek, kiest een stap, ontvangt een resultaat en besluit of het doorgaat. Een chatbot mag alleen tekst genereren; een agent kan om een ​​externe actie verzoeken. Commerciële definities variëren, dus inspecteer de daadwerkelijke controle. Definieer succes en stoppen: een geverifieerd resultaat, een maximaal aantal stappen, herhaalde fouten of een uitgeput budget. Gebruik beperkte mogelijkheden en minimale machtigingen. Nuttige autonomie betekent vrijheid binnen de door software afgedwongen grenzen.

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Fouten hebben expliciete paden nodig

Een time-out verschilt van een toestemmingsfout. Probeer alleen tijdelijke fouten opnieuw, met beperkte pogingen en toenemende vertragingen. Een operatie met bijwerkingen kan worden uitgevoerd voordat de respons verloren gaat; Opnieuw proberen zonder een idempotentiesleutel kan het effect dupliceren. Streaming toont voortgang, maar garandeert geen voltooiing. Controlepunten kunnen ervoor zorgen dat mislukte fasen binnen de looptijdlimieten worden hervat. Bewaar de run-ID, fase, duur en fout terwijl u geheimen uit logboeken verwijdert. Meet zowel langzame paden als gemiddelden.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Kies een agent of workflow, stel een vraag en bekijk de streaming en stappen. Voor bestanden, vink uploaden aan. Gebruik nieuwe gesprekken in vergelijkingen, zodat de geschiedenis de test niet verandert.

Probeer het zelf

1. Voer dezelfde vraag uit met twee configuraties en noteer de verschillen.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Het rapport omvat het verzoek, het doel, de stappen en het resultaat, niet alleen de definitieve tekst. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Een gespreksbijlage wordt niet automatisch permanente RAG-gegevens. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Geeft meer autonomie altijd een beter resultaat?

Nee. Het vergroot ook de ruimte voor fouten, kosten en onnodige acties.

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Welk resultaat moet deze oefening opleveren?

Het rapport omvat het verzoek, het doel, de stappen en het resultaat, niet alleen de definitieve tekst.

Begrippen om te onthouden

• Tussenpersoon: Een systeem dat stappen kan kiezen en hulpmiddelen kan gebruiken om een ​​doel te bereiken.
• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Idempotentie: Gecontroleerde herhaling zonder een effect te dupliceren.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten

Ter voorbereiding: U01 — Een kaart van de applicatie