Evaluarea agenților și a echipelor
Un agent poate scrie un răspuns bun după o acțiune greșită.
Ce vei învăța
- Explici: definește succesul înainte de optimizare
- Aplici ideea într-un exemplu: Evaluarea agenților și a echipelor
- Recunoști limitele și verifici rezultatul exercițiului
Un agent poate scrie un răspuns bun după o acțiune greșită. Evaluarea trebuie să urmărească întregul traseu.
Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.
Cum funcționează, pas cu pas
Definește succesul înainte de optimizare
Pregătește un set de cereri reprezentative și răspunsuri sau proprietăți așteptate. Include cazuri obișnuite, ambigue, fără date și cu erori de unelte. Pentru RAG măsoară separat găsirea dovezii și corectitudinea răspunsului. Recall@k urmărește proporția dovezilor relevante găsite în primele k rezultate; precision@k urmărește proporția rezultatelor relevante. Pentru agenți urmărește și acțiunile, accesul și oprirea. Un LLM-as-judge poate accelera evaluarea, dar se calibrează față de oameni. Nu modifica simultan promptul, modelul și indexul dacă vrei să înțelegi cauza îmbunătățirii.
Modelul propune, unealta execută
Tool calling produce o cerere de apel cu nume și argumente. Aplicația validează schema, drepturile și limitele înainte să execute. Rezultatul se întoarce în context pentru pasul următor. De exemplu, get_product_stock primește un SKU și returnează o cantitate; descrierea sa trebuie să precizeze că nu rezervă produse. Distinge rezultat gol, eroare de validare, lipsă de acces și timeout. JSON valid nu dovedește că argumentele sunt corecte sau că operația este autorizată. Pentru efecte externe verifică și riscul de repetare.
Un workflow are structură explicită
Nodul este o etapă, muchia este o trecere, iar starea transportă rezultatele între etape. Într-un workflow traseul este definit de aplicație, deși modelul poate decide unele ramuri. Sistemele agentice includ atât workflows cât și agenți cu decizii dinamice. În Nymrio există ReAct, Reflection, Sequential, Orchestrator, Router, Parallel și Plan-and-Execute. Fiecare schimbă coordonarea, nu transformă automat modelul într-un expert. Mai mulți agenți înseamnă mai multe apeluri și contracte între roluri. Începe cu soluția cea mai simplă care trece testele tale.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
Agentul raportează stocul corect, dar a consultat alt SKU. Echipa citează o politică și omite un conflict între workers. Acestea sunt eșecuri chiar dacă textul final pare bun.
Încearcă tu
- Compară două traces și marchează primul pas care a deviat de la obiectiv.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Verifici argumentele, rolurile, operațiile, sursele și oprirea, apoi calitatea textului. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
LLM-as-judge poate avea bias și trebuie calibrat cu revizie umană. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
O notă bună de stil dovedește succesul unui agent?
Nu. Agentul poate scrie frumos după ce a folosit unealta sau datele greșite.
Cine execută apelul propus de model?
Aplicația sau serviciul gazdă, după validare. Modelul nu primește automat acces nelimitat.
Ce rezultat trebuie să obții în acest exercițiu?
Verifici argumentele, rolurile, operațiile, sursele și oprirea, apoi calitatea textului.
Cuvinte de ținut minte
- Regresie / Regression: O schimbare care strică un caz anterior corect.
- Tool calling: Cerere structurată de folosire a unei capabilități externe.
- Nod: Etapă din graful unei execuții.
Surse și următorul pas
Pentru pregătire: E02 — Evaluarea RAG separat pe etape