Gesprekken en feedback

Uit gesprekken blijkt waar een systeem helpt en faalt. Verander feedback in een oorzaak en een test.

Deze stappen verwijzen naar de functies die in de applicatiecode zijn geïdentificeerd. Dit materiaal is niet gevalideerd op een live exemplaar; controleer de documentatie en de opties in uw versie.

Hoe het werkt, stap voor stap

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Vloeiendheid en waarheid worden afzonderlijk gecontroleerd

Een hallucinatie is niet-ondersteunde of onjuiste inhoud die als antwoord wordt gepresenteerd. Het kan voortkomen uit ontbrekende informatie, onduidelijkheid of verkeerd gecombineerde patronen. Vraag om bewijsmateriaal en controleer het originele document, de datum, de eenheden en de voorwaarden. Een echt citaat kan de bewering nog steeds niet ondersteunen. Gebruik actuele bronnen voor actuele feiten, een rekenmachine voor rekenen, en ‘kan niet vaststellen’ wanneer bewijs ontbreekt. Beschouw het in proza ​​uitgedrukte vertrouwen niet als een gekalibreerde waarschijnlijkheid.

Fouten hebben expliciete paden nodig

Een time-out verschilt van een toestemmingsfout. Probeer alleen tijdelijke fouten opnieuw, met beperkte pogingen en toenemende vertragingen. Een operatie met bijwerkingen kan worden uitgevoerd voordat de respons verloren gaat; Opnieuw proberen zonder een idempotentiesleutel kan het effect dupliceren. Streaming toont voortgang, maar garandeert geen voltooiing. Controlepunten kunnen ervoor zorgen dat mislukte fasen binnen de looptijdlimieten worden hervat. Bewaar de run-ID, fase, duur en fout terwijl u geheimen uit logboeken verwijdert. Meet zowel langzame paden als gemiddelden.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

“Onbehulpzaam antwoord” kan een verkeerde deadline, technisch taalgebruik of een niet-beschikbare tool betekenen. Lees het gesprek, identificeer de oorzaak en voeg een regressiecasus toe.

Probeer het zelf

1. Bekijk tien fictieve gesprekken en groepsfouten per oorzaak.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Elke waarneming heeft een oorzaak, voorgestelde wijziging en vervolgcontrole. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Positieve feedback is geen gegarandeerd waarheidslabel. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Is een link in een antwoord voldoende?

Nee; het moet de specifieke claim ondersteunen en passen bij het tijdstip en de omstandigheden.

Welk resultaat moet deze oefening opleveren?

Elke waarneming heeft een oorzaak, voorgestelde wijziging en vervolgcontrole.

Begrippen om te onthouden

• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Aarding: Een antwoord baseren op verifieerbaar bewijs.
• Idempotentie: Gecontroleerde herhaling zonder een effect te dupliceren.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten
• Hugging Face — LLM Course

Ter voorbereiding: U03 — Stoppen, hervatten en opnieuw starten