Autonomie controlată și intervenție umană

Un agent util nu are nevoie de drepturi nelimitate.

Ce vei învăța

  • Explici: bucla unui agent cu limite
  • Aplici ideea într-un exemplu: Autonomie controlată și intervenție umană
  • Recunoști limitele și verifici rezultatul exercițiului

Un agent util nu are nevoie de drepturi nelimitate. Îi putem permite citirea și redactarea, păstrând controlul asupra acțiunilor cu efecte.

Acesta este un laborator conceptual sau extern. Nu presupune că aplicația oferă toate controalele descrise.

Cum funcționează, pas cu pas

Bucla unui agent cu limite

Agentul combină un model cu unelte, obiectiv și stare. Observă cererea, alege un pas, primește rezultatul și decide dacă trebuie să continue. Un chatbot poate doar genera text; un agent poate cere o acțiune externă. Definițiile comerciale variază, deci urmărește controlul real. Definește succesul și oprirea: rezultat verificat, număr maxim de pași, eroare repetată sau buget epuizat. Folosește capabilități înguste și drepturi minime. Autonomia utilă înseamnă libertate în interiorul unor limite aplicate de software.

Accesul se verifică înainte de folosire

Permisiunile trebuie aplicate în server și în stratul de date. Nu lăsa modelul să decidă dacă un utilizator poate vedea un document. Filtrează sursele înainte să intre în context, nu după generarea răspunsului. Folosește chei cu acces minim, nu le pune în prompturi, capturi sau cod din browser și rotește-le dacă sunt expuse. O listă de domenii permise pentru widget nu înlocuiește autentificarea API. Autentificarea arată cine ești; autorizarea arată ce operații și date poți folosi. Testează și accesul refuzat.

Erorile au nevoie de trasee explicite

Un timeout nu este același lucru cu o eroare de permisiune. Reîncearcă doar erorile tranzitorii, cu un număr limitat de încercări și pauze crescătoare. O operație cu efecte poate fi executată înainte ca răspunsul să se piardă; repetarea fără cheie de idempotency poate dubla efectul. Streaming arată progresul, dar nu garantează finalizarea. Checkpoint-urile pot permite reluarea etapelor eșuate, în limitele runtime-ului. Păstrează identificatorul rulării, etapa, durata și eroarea, eliminând secretele din logs. Măsoară și cel mai lent traseu, nu doar media.

Harta vizuală

Autonomie controlată și intervenție umană Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Aprobarea umană este un control conceptual de integrare, nu rezultatul automat al cererii de aprobare într-un prompt. Relații: Cererea utilizatorului → Agent / LLM; Agent / LLM → Alege acțiunea următoare; Omul aprobă acțiunea → Acțiune externă; Acțiune externă → Rezultat de verificat; Rezultat de verificat → Verificare umană; Unelte MCP / RAG → Rezultat de verificat; Permisiuni de acces → Alege acțiunea următoare; Limite de pași și iterații → Alege acțiunea următoare; Alege acțiunea următoare → Unelte MCP / RAG (În domeniul permis); Alege acțiunea următoare → Omul aprobă acțiunea (Acțiune cu consecințe); Omul aprobă acțiunea → Respinge sau oprește (Respins); Verificare umană → Agent / LLM. A06 · Hartă de relații Autonomie controlată și intervenție umană Intrare Cererea utilizatorului Decizie / control Permisiuni de acces Decizie / control Limite de pași și iterații Model AI / agent Agent / LLM Decizie / control Alege acțiunea următoare Decizie / control Omul aprobă acțiunea Unealtă / serviciu Unelte MCP / RAG Rezultat Respinge sau oprește Unealtă / serviciu Acțiune externă Rezultat Rezultat de verificat Decizie / control Verificare umană În domeniul permis Acțiune cu consecințe Respins Flux principal Date și context Feedback și revenire

Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Aprobarea umană este un control conceptual de integrare, nu rezultatul automat al cererii de aprobare într-un prompt. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.

Un exemplu complet

Agentul propune un retur după consultarea politicii. Propunerea include comanda, motivul și condițiile. Rambursarea este o operație separată care cere autorizare și verificare.

Încearcă tu

  1. Clasifică operațiile ca citire, draft, modificare reversibilă și efect ireversibil.
  2. Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
  3. Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
  4. Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
  5. Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.

Soluție comentată

Obții o propunere verificabilă, fără tranzacție automată și fără memorie persistentă presupusă. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.

Când merită și ce poate merge prost

Un control de aprobare conceptual nu dovedește existența lui în UI. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.

Verifică ce ai înțeles

Mai multă autonomie produce întotdeauna un rezultat mai bun?

Nu. Crește și spațiul pentru greșeli, costuri și acțiuni inutile.

De ce este prea târziu să elimini sursa privată după răspuns?

Pentru că datele au intrat deja în contextul modelului și pot fi divulgate.

Ce rezultat trebuie să obții în acest exercițiu?

Obții o propunere verificabilă, fără tranzacție automată și fără memorie persistentă presupusă.

Cuvinte de ținut minte

  • Agent: Sistem care poate decide pași și utiliza unelte spre un obiectiv.
  • Autorizare / Authorization: Verificarea dreptului la o operație sau resursă.
  • Idempotency: Repetarea controlată fără duplicarea efectului.

Surse și următorul pas

Pentru pregătire: A05 — Web search și code execution