Tokeni, credite, bugete și cost total

Prețul unui apel nu este costul unei sarcini complete. Numără indexarea, conversația și uneltele separat.

Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.

Cum funcționează, pas cu pas

Costul aparține întregului traseu

Numără apelurile de model, tokenii de intrare și ieșire, embeddings, reranking, vision și uneltele. Reasoning poate consuma tokeni facturați fără un răspuns vizibil la fel de lung. Costul indexării și costul conversației sunt diferite. Folosește tarifele curente, nu o cifră permanentă din curs. Estimarea simplă este tokeni/1.000.000 × tarif, plus operații suplimentare; creditele aplicației pot folosi propria conversie. Compară costul per sarcină reușită, nu doar per apel. Parallel poate reduce latența, dar crește consumul total. Bugetul trebuie să aibă o condiție de oprire verificată.

Alege după sarcină și capacități

Verifică limba, contextul, tool calling, ieșirea structurată și modalitățile de intrare ale modelului. Compară pe aceleași cereri, cu aceeași rubrică și un buget realist. Temperatura schimbă eșantionarea, nu adevărul. Reasoning effort alocă efort pentru modelele compatibile și poate crește timpul și costul; valorile diferă între modele. Modelele locale oferă control asupra infrastructurii, dar cer resurse și întreținere. Open weights nu garantează o licență fără restricții sau întregul cod de antrenare. Catalogul și prețurile se schimbă; citește fișa curentă.

Definește succesul înainte de optimizare

Pregătește un set de cereri reprezentative și răspunsuri sau proprietăți așteptate. Include cazuri obișnuite, ambigue, fără date și cu erori de unelte. Pentru RAG măsoară separat găsirea dovezii și corectitudinea răspunsului. Recall@k urmărește proporția dovezilor relevante găsite în primele k rezultate; precision@k urmărește proporția rezultatelor relevante. Pentru agenți urmărește și acțiunile, accesul și oprirea. Un LLM-as-judge poate accelera evaluarea, dar se calibrează față de oameni. Nu modifica simultan promptul, modelul și indexul dacă vrei să înțelegi cauza îmbunătățirii.

Harta vizuală

Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.

Un exemplu complet

Cu tarife fictive de 2/unitate milion input și 10/output, 10.000 input și 1.000 output costă 0,03 unități monetare înainte de tools. Sunt numere de exercițiu, nu tarife curente.

Încearcă tu

1. Estimează o sarcină cu trei apeluri și o indexare, apoi un cost per sarcină reușită.
2. Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
3. Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
4. Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
5. Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.

Soluție comentată

Calculezi 0,02 + 0,01 și adaugi separat consumul suplimentar; compari cu utilizarea reală din organizație. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.

Când merită și ce poate merge prost

Creditele aplicației și moneda providerului pot avea conversii diferite. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.

Verifică ce ai înțeles

Mai multe apeluri simultane sunt automat mai ieftine?

Nu. Timpul și suma consumului sunt mărimi diferite.

Temperatura zero garantează corectitudinea?

Nu. Poate reduce variația, dar un răspuns stabil poate fi greșit.

Ce rezultat trebuie să obții în acest exercițiu?

Calculezi 0,02 + 0,01 și adaugi separat consumul suplimentar; compari cu utilizarea reală din organizație.

Cuvinte de ținut minte

• Latență / Latency: Timpul până la rezultatul util.
• Reasoning effort: Setare dependentă de model pentru efortul de raționament.
• Regresie / Regression: O schimbare care strică un caz anterior corect.

Surse și următorul pas

• OpenRouter — Reasoning tokens
• Hugging Face — LLM Course
• LangGraph — Workflows and agents

Pentru pregătire: E04 — Observabilitate și depanare