Cum măsori dacă AI este utilă?
Utilitatea se măsoară în rezultate pentru utilizator.
Ce vei învăța
- Explici: definește succesul înainte de optimizare
- Aplici ideea într-un exemplu: Cum măsori dacă AI este utilă?
- Recunoști limitele și verifici rezultatul exercițiului
Utilitatea se măsoară în rezultate pentru utilizator. Definește criteriile înainte să vezi răspunsul ca să nu schimbi regula după rezultat.
Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.
Cum funcționează, pas cu pas
Definește succesul înainte de optimizare
Pregătește un set de cereri reprezentative și răspunsuri sau proprietăți așteptate. Include cazuri obișnuite, ambigue, fără date și cu erori de unelte. Pentru RAG măsoară separat găsirea dovezii și corectitudinea răspunsului. Recall@k urmărește proporția dovezilor relevante găsite în primele k rezultate; precision@k urmărește proporția rezultatelor relevante. Pentru agenți urmărește și acțiunile, accesul și oprirea. Un LLM-as-judge poate accelera evaluarea, dar se calibrează față de oameni. Nu modifica simultan promptul, modelul și indexul dacă vrei să înțelegi cauza îmbunătățirii.
Fluența și adevărul se verifică separat
O halucinație este un conținut nesusținut sau incorect prezentat drept răspuns. Poate apărea din lipsă de informație, ambiguitate sau combinarea greșită a unor tipare. Cere dovezi și verifică documentul original, data, unitățile și condițiile. O citare care există poate să nu susțină afirmația. Pentru date actuale folosește o sursă actuală; pentru calcule folosește un calculator; pentru lipsa datelor acceptă „nu pot determina”. Nu trata nivelul de încredere exprimat în text drept probabilitate calibrată.
Costul aparține întregului traseu
Numără apelurile de model, tokenii de intrare și ieșire, embeddings, reranking, vision și uneltele. Reasoning poate consuma tokeni facturați fără un răspuns vizibil la fel de lung. Costul indexării și costul conversației sunt diferite. Folosește tarifele curente, nu o cifră permanentă din curs. Estimarea simplă este tokeni/1.000.000 × tarif, plus operații suplimentare; creditele aplicației pot folosi propria conversie. Compară costul per sarcină reușită, nu doar per apel. Parallel poate reduce latența, dar crește consumul total. Bugetul trebuie să aibă o condiție de oprire verificată.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
Pentru FAQ punctezi termenul corect, condițiile păstrate, claritatea și lipsa afirmațiilor inventate. O variantă elegantă cu termen greșit eșuează criteriul critic.
Încearcă tu
- Construiește o rubrică pentru 20 de cereri și stabilește ce greșeală blochează lansarea.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Rubrica separă criteriile obligatorii de preferințele de stil și permite comparații repetabile. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
Media poate ascunde un eșec rar, dar important. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
O notă bună de stil dovedește succesul unui agent?
Nu. Agentul poate scrie frumos după ce a folosit unealta sau datele greșite.
Ajunge să existe un link în răspuns?
Nu; sursa trebuie să susțină exact afirmația și să fie potrivită momentului și situației.
Ce rezultat trebuie să obții în acest exercițiu?
Rubrica separă criteriile obligatorii de preferințele de stil și permite comparații repetabile.
Cuvinte de ținut minte
- Regresie / Regression: O schimbare care strică un caz anterior corect.
- Grounding: Ancorarea răspunsului în dovezi verificabile.
- Latență / Latency: Timpul până la rezultatul util.
Surse și următorul pas
Pentru pregătire: U02 — Playground ca laborator · D04 — Întrebări bune pentru a testa RAG