Waarneembaarheid en foutopsporing

Waarneembaarheid verbindt uitkomsten met de stappen die ze opleveren. Diagnostische gegevens zouden moeten helpen zonder geheimen bloot te leggen.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Fouten hebben expliciete paden nodig

Een time-out verschilt van een toestemmingsfout. Probeer alleen tijdelijke fouten opnieuw, met beperkte pogingen en toenemende vertragingen. Een operatie met bijwerkingen kan worden uitgevoerd voordat de respons verloren gaat; Opnieuw proberen zonder een idempotentiesleutel kan het effect dupliceren. Streaming toont voortgang, maar garandeert geen voltooiing. Controlepunten kunnen ervoor zorgen dat mislukte fasen binnen de looptijdlimieten worden hervat. Bewaar de run-ID, fase, duur en fout terwijl u geheimen uit logboeken verwijdert. Meet zowel langzame paden als gemiddelden.

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Controleer de toegang vóór gebruik

Machtigingen moeten worden afgedwongen door servers en de gegevenslaag. Laat het model niet beslissen of een gebruiker een document mag zien. Filter bronnen voordat ze in de context terechtkomen, niet nadat het antwoord is gegenereerd. Gebruik inloggegevens voor minimale toegang, houd deze buiten prompts, schermafbeeldingen en browsercode en draai blootgestelde sleutels. Een toelatingslijst voor widgetdomeinen vervangt API-authenticatie niet. Authenticatie identificeert u; autorisatie bepaalt welke handelingen en gegevens u kunt gebruiken. Test ook toegang geweigerd.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Een langzame reactie heeft een ophaaltijd van 0,2 s, een herrangschikking van 0,4 s en een extern hulpmiddel 8 s. Een run-ID verbindt fasen; prompt- en modelversies worden vastgelegd.

Probeer het zelf

1. Bouw een tijdlijn met fase, duur, resultaat en run-ID.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Identificeer de tool als de latentiebron en bewaar de foutcontext zonder inloggegevens. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Er wordt niet aangenomen dat externe traceringstools UI-besturingselementen zijn. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Bewijst een time-out dat de bewerking niet is uitgevoerd?

Nee. Controleer de status voordat u een actie met bijwerkingen opnieuw probeert.

Bewijst een goede stijlscore het succes van een agent?

Nee. De agent kan prachtig schrijven nadat hij de verkeerde tool of gegevens heeft gebruikt.

Welk resultaat moet deze oefening opleveren?

Identificeer de tool als de latentiebron en bewaar de foutcontext zonder inloggegevens.

Begrippen om te onthouden

• Idempotentie: Gecontroleerde herhaling zonder een effect te dupliceren.
• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.
• Autorisatie / Autorisatie: het recht op toegang tot een bewerking of bron controleren.

Bronnen en uw volgende stap

• LangGraph — Workflows en agenten
• OWASP — Promptinjectie

Ter voorbereiding: E03 — Agenten en teams evalueren