Cos'è un LLM e come risponde?
Un LLM crea risposte token per token.
Cosa imparerai
- Spiegare: dai token alla risposta
- Applica l'idea in un esempio: cos'è un LLM e come risponde?
- Riconoscere i limiti e verificare il risultato dell'esercizio
Un LLM crea risposte token per token. Possiamo capirlo senza formule avanzate seguendo ciò che riceve e genera.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
Dai token alla risposta
Un token è un'unità di testo: a volte una parola, a volte un frammento di parola o un segno di punteggiatura. Il modello elabora i token di contesto e stima una distribuzione sul token successivo. La selezione si ripete fino all'arresto. Il meccanismo di attenzione dei Transformer combina le informazioni sulle relazioni tra i token; non è attenzione umana. L'addestramento modifica i parametri, mentre l'inferenza utilizza il modello addestrato. Una risposta può sembrare coerente senza essere vera: la generazione del testo non verifica in modo indipendente i fatti.
Il contesto è il banco di lavoro
Il contesto include istruzioni, richiesta corrente, cronologia rilevante, documenti recuperati e risultati dello strumento. La finestra di contesto ha una capacità limitata; riservare spazio anche per la risposta. Una quantità maggiore di testo non migliora automaticamente la precisione. Informazioni irrilevanti e contraddizioni possono nascondere prove importanti. Riassumere attentamente la cronologia della conversazione e preservare l'origine dei fatti. Lo stato descrive l'esecuzione corrente, un checkpoint salva un punto ripristinabile e la memoria persistente conserva le informazioni tra le esecuzioni. Si tratta di diversi meccanismi gestiti dall'applicazione.
La fluidità e la verità vengono verificate separatamente
Un'allucinazione è un contenuto non supportato o errato presentato come risposta. Può derivare da informazioni mancanti, ambiguità o modelli combinati in modo errato. Richiedi prove e controlla il documento originale, la data, le unità e le condizioni. Una vera citazione potrebbe comunque non supportare l'affermazione. Utilizza fonti attuali per fatti attuali, una calcolatrice per l'aritmetica e "non puoi determinare" quando mancano le prove. Non trattare la fiducia espressa in prosa come una probabilità calibrata.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
“Riassumere la politica in due frasi” diventa un token. Il modello considera l'istruzione e la policy, genera token e arresti successivi. Non esegue automaticamente la ricerca dei documenti a meno che l'applicazione non ne fornisca il recupero.
Provalo tu stesso
- Scrivi un paragrafo sulla politica, richiedi due riassunti, quindi rimuovi la politica.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
La sintesi preserva la scadenza e le condizioni. Se non viene fornita alcuna politica, il modello dovrebbe riconoscere tale assenza. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
“Molto probabilmente” non significa “vero”. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Un segno è sempre una parola?
NO; la tokenizzazione dipende dal modello e dalla lingua. Utilizzare il tokenizzatore appropriato.
Un checkpoint è una memoria utente permanente?
No. Il salvataggio di una corsa non implica il mantenimento delle preferenze tra le conversazioni.
Quale risultato dovrebbe produrre questo esercizio?
La sintesi preserva la scadenza e le condizioni. Se non viene fornita alcuna politica, il modello dovrebbe riconoscere tale assenza.
Termini da ricordare
- Token: unità utilizzata dal modello per i limiti di testo e contesto.
- Punto di controllo: stato salvato utilizzato per riprendere un'esecuzione.
- Messa a terra: Fondare una risposta su prove verificabili.
Fonti e il prossimo passo
Per preparare: F02 — Come impara una macchina?