Gelimiteerde autonomie en menselijk ingrijpen

Een nuttige agent heeft geen onbeperkte rechten nodig.

Wat je gaat leren

  • Leg uit: een begrensde agentlus
  • Pas het idee toe in een voorbeeld: begrensde autonomie en menselijk ingrijpen
  • Herken beperkingen en verifieer het resultaat van de oefening

Een nuttige agent heeft geen onbeperkte rechten nodig. Laat lezen en opstellen toe, terwijl u de controle behoudt over de daaruit voortvloeiende acties.

Dit is een conceptueel of extern laboratorium. Er wordt niet van uitgegaan dat de toepassing elk beschreven besturingselement blootlegt.

Hoe het werkt, stap voor stap

Een begrensde agentlus

Een agent combineert een model met hulpmiddelen, een doel en een staat. Het observeert het verzoek, kiest een stap, ontvangt een resultaat en besluit of het doorgaat. Een chatbot mag alleen tekst genereren; een agent kan om een ​​externe actie verzoeken. Commerciële definities variëren, dus inspecteer de daadwerkelijke controle. Definieer succes en stoppen: een geverifieerd resultaat, een maximaal aantal stappen, herhaalde fouten of een uitgeput budget. Gebruik beperkte mogelijkheden en minimale machtigingen. Nuttige autonomie betekent vrijheid binnen de door software afgedwongen grenzen.

Controleer de toegang vóór gebruik

Machtigingen moeten worden afgedwongen door servers en de gegevenslaag. Laat het model niet beslissen of een gebruiker een document mag zien. Filter bronnen voordat ze in de context terechtkomen, niet nadat het antwoord is gegenereerd. Gebruik inloggegevens voor minimale toegang, houd deze buiten prompts, schermafbeeldingen en browsercode en draai blootgestelde sleutels. Een toelatingslijst voor widgetdomeinen vervangt API-authenticatie niet. Authenticatie identificeert u; autorisatie bepaalt welke handelingen en gegevens u kunt gebruiken. Test ook toegang geweigerd.

Fouten hebben expliciete paden nodig

Een time-out verschilt van een toestemmingsfout. Probeer alleen tijdelijke fouten opnieuw, met beperkte pogingen en toenemende vertragingen. Een operatie met bijwerkingen kan worden uitgevoerd voordat de respons verloren gaat; Opnieuw proberen zonder een idempotentiesleutel kan het effect dupliceren. Streaming toont voortgang, maar garandeert geen voltooiing. Controlepunten kunnen ervoor zorgen dat mislukte fasen binnen de looptijdlimieten worden hervat. Bewaar de run-ID, fase, duur en fout terwijl u geheimen uit logboeken verwijdert. Meet zowel langzame paden als gemiddelden.

Het verklarende schema

Gelimiteerde autonomie en menselijk ingrijpen Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Menselijke goedkeuring is een conceptuele integratiecontrole, en niet een ingebouwd gevolg van het vragen om goedkeuring in een prompt. Verbindingen: Gebruikersverzoek → Agent / LLM; Agent / LLM → Kies volgende actie; Mens keurt de actie goed → Externe actie; Externe actie → Resultaat om te verifiëren; Resultaat om te verifiëren → Menselijke verificatie; MCP-tools / RAG → Resultaat om te verifiëren; Toegangsrechten → Kies volgende actie; Stap- en iteratielimieten → Kies volgende actie; Kies volgende actie → MCP-tools / RAG (Binnen toegestane reikwijdte); Kies volgende actie → Mens keurt de actie goed (Vervolgactie); Mens keurt de actie goed → Afwijzen of stoppen (Geweigerd); Menselijke verificatie → Agent / LLM. A06 · Relatie kaart Gelimiteerde autonomie en menselijk ingrijpen Invoer Gebruikersverzoek Beslissing / controle Toegangsrechten Beslissing / controle Stap- en iteratielimieten AI-model / agent Agent / LLM Beslissing / controle Kies volgende actie Beslissing / controle Mens keurt de actie goed Gereedschap / dienst MCP-tools / RAG Uitvoer Afwijzen of stoppen Gereedschap / dienst Externe actie Uitvoer Resultaat om te verifiëren Beslissing / controle Menselijke verificatie Binnen toegestane reikwijdte Vervolgactie Geweigerd Hoofdstroom Gegevens en context Feedback en retour

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Menselijke goedkeuring is een conceptuele integratiecontrole, en niet een ingebouwd gevolg van het vragen om goedkeuring in een prompt. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

De agent stelt een retour voor na controle van het beleid. Het voorstel omvat orde, reden en voorwaarden. Een terugbetaling is een afzonderlijke handeling waarvoor autorisatie en verificatie vereist is.

Probeer het zelf

  1. Classificeer bewerkingen als lezen, opstellen, omkeerbare verandering en onomkeerbaar effect.
  2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
  3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
  4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
  5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

U krijgt een verifieerbaar voorstel zonder automatische transacties of verondersteld persistent geheugen. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Een conceptuele goedkeuringscontrole bevestigt zijn aanwezigheid in de gebruikersinterface niet. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Geeft meer autonomie altijd een beter resultaat?

Nee. Het vergroot ook de ruimte voor fouten, kosten en onnodige acties.

Waarom is het verwijderen van een privébron na het beantwoorden te laat?

De gegevens zijn al in de modelcontext terechtgekomen en kunnen worden vrijgegeven.

Welk resultaat moet deze oefening opleveren?

U krijgt een verifieerbaar voorstel zonder automatische transacties of verondersteld persistent geheugen.

Begrippen om te onthouden

  • Tussenpersoon: Een systeem dat stappen kan kiezen en hulpmiddelen kan gebruiken om een ​​doel te bereiken.
  • Autorisatie / Autorisatie: het recht op toegang tot een bewerking of bron controleren.
  • Idempotentie: Gecontroleerde herhaling zonder een effect te dupliceren.

Bronnen en uw volgende stap

Ter voorbereiding: A05 — Zoeken op internet en code-uitvoering