Ce este un LLM și cum produce un răspuns?
Un LLM construiește răspunsuri token cu token.
Ce vei învăța
- Explici: de la tokeni la răspuns
- Aplici ideea într-un exemplu: Ce este un LLM și cum produce un răspuns?
- Recunoști limitele și verifici rezultatul exercițiului
Un LLM construiește răspunsuri token cu token. Îl putem înțelege fără formule avansate dacă urmărim ce primește și ce generează.
Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.
Cum funcționează, pas cu pas
De la tokeni la răspuns
Un token este o unitate de text: uneori un cuvânt, alteori o parte de cuvânt sau punctuație. Modelul procesează tokenii din context și estimează o distribuție pentru următorul token. Selecția se repetă până la oprire. Atenția din Transformer combină informații despre relațiile dintre tokeni; nu este atenție umană. Antrenarea modifică parametrii, iar inferența folosește modelul antrenat. Un răspuns poate părea coerent fără să fie adevărat: obiectivul de generare a textului nu este o verificare independentă a faptelor.
Contextul este masa de lucru
Contextul include instrucțiuni, cererea curentă, istoricul relevant, documente recuperate și rezultate ale uneltelor. Fereastra de context are o capacitate limitată; rezervă loc și pentru răspuns. Mai mult text nu înseamnă automat mai multă precizie. Informațiile irelevante și contradicțiile pot ascunde dovezile importante. Rezumă istoricul cu grijă și păstrează sursa faptelor. Starea descrie execuția curentă, checkpoint-ul salvează un punct de reluare, iar memoria persistentă păstrează informații între rulări. Acestea sunt mecanisme diferite, gestionate de aplicație.
Fluența și adevărul se verifică separat
O halucinație este un conținut nesusținut sau incorect prezentat drept răspuns. Poate apărea din lipsă de informație, ambiguitate sau combinarea greșită a unor tipare. Cere dovezi și verifică documentul original, data, unitățile și condițiile. O citare care există poate să nu susțină afirmația. Pentru date actuale folosește o sursă actuală; pentru calcule folosește un calculator; pentru lipsa datelor acceptă „nu pot determina”. Nu trata nivelul de încredere exprimat în text drept probabilitate calibrată.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
Cererea „Rezumă politica în două propoziții” devine tokeni. Modelul ia în calcul instrucțiunea și politica, generează următorii tokeni și se oprește. Nu caută automat în documente dacă aplicația nu îi oferă căutare.
Încearcă tu
- Scrie un paragraf de politică și cere două rezumate, apoi elimină politica.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Rezumatul păstrează termenul și condițiile din text. Dacă politica nu este furnizată, modelul trebuie să semnaleze lipsa ei. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
„Cel mai probabil” nu înseamnă „adevărat”. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
Un token este întotdeauna un cuvânt?
Nu; tokenizarea depinde de model și limbă. Numără cu tokenizerul potrivit.
Un checkpoint este memorie permanentă a utilizatorului?
Nu. Salvarea unei execuții nu implică păstrarea preferințelor între conversații.
Ce rezultat trebuie să obții în acest exercițiu?
Rezumatul păstrează termenul și condițiile din text. Dacă politica nu este furnizată, modelul trebuie să semnaleze lipsa ei.
Cuvinte de ținut minte
- Token: Unitate folosită de model pentru text și limite de context.
- Checkpoint: Stare salvată pentru reluarea unei execuții.
- Grounding: Ancorarea răspunsului în dovezi verificabile.
Surse și următorul pas
Pentru pregătire: F02 — Cum învață o mașină?