Temperatura, limiti e sforzo di ragionamento
Le impostazioni del modello presentano dei compromessi.
Cosa imparerai
- Spiega: scegli per compito e capacità
- Applica l'idea in un esempio: temperatura, limiti e sforzo di ragionamento
- Riconoscere i limiti e verificare il risultato dell'esercizio
Le impostazioni del modello presentano dei compromessi. Comprenderli ciascuno prima di modificare tutti i valori insieme.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
Scegli per attività e capacità
Controlla la lingua, il contesto, la chiamata degli strumenti, l'output strutturato e le modalità di input supportate. Confronta modelli su richieste identiche utilizzando la stessa rubrica e un budget realistico. Campionamento dei cambiamenti di temperatura, non verità. Lo sforzo di ragionamento alloca gli sforzi per modelli compatibili e può aumentare tempi e costi; i valori accettati variano. I modelli locali offrono il controllo dell’infrastruttura ma richiedono risorse e manutenzione. I pesi aperti non garantiscono una licenza illimitata o un codice di allenamento completo. Cataloghi e prezzi cambiano; leggere la scheda del modello attuale.
Dai token alla risposta
Un token è un'unità di testo: a volte una parola, a volte un frammento di parola o un segno di punteggiatura. Il modello elabora i token di contesto e stima una distribuzione sul token successivo. La selezione si ripete fino all'arresto. Il meccanismo di attenzione dei Transformer combina le informazioni sulle relazioni tra i token; non è attenzione umana. L'addestramento modifica i parametri, mentre l'inferenza utilizza il modello addestrato. Una risposta può sembrare coerente senza essere vera: la generazione del testo non verifica in modo indipendente i fatti.
Il costo appartiene all'intero percorso
Conta le chiamate ai modelli, i token di input e output, gli incorporamenti, la riclassificazione, la visione e gli strumenti. Il ragionamento può consumare token fatturabili senza una risposta visibile altrettanto lunga. I costi di indicizzazione e i costi di conversazione differiscono. Utilizza i prezzi correnti anziché un numero permanente di un corso. Una stima semplice è token/1.000.000 × prezzo più operazioni aggiuntive; i crediti dell'applicazione possono avere la propria conversione. Confronta i costi per attività riuscita, non solo per chiamata. L'esecuzione parallela può ridurre la latenza aumentando al contempo il consumo totale. Un budget necessita di una condizione di arresto verificata.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
La classificazione ha criteri rigorosi; il brainstorming richiede varietà. Testare le temperature laddove supportate e confrontare i risultati. Confrontare separatamente gli sforzi su compiti complessi.
Provalo tu stesso
- Esegui cinque richieste con due impostazioni e registra qualità, tempo e consumo.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Scegli un valore che soddisfi i criteri a un costo accettabile; mantenere fisso il modello e le altre impostazioni. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Alcuni modelli non supportano parametri o valori identici. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
La temperatura zero garantisce la correttezza?
No. Può ridurre la variazione, ma una risposta stabile può comunque essere sbagliata.
Un segno è sempre una parola?
NO; la tokenizzazione dipende dal modello e dalla lingua. Utilizzare il tokenizzatore appropriato.
Quale risultato dovrebbe produrre questo esercizio?
Scegli un valore che soddisfi i criteri a un costo accettabile; mantenere fisso il modello e le altre impostazioni.
Termini da ricordare
- Sforzo di ragionamento: un'impostazione dipendente dal modello che controlla lo sforzo di ragionamento.
- Token: unità utilizzata dal modello per i limiti di testo e contesto.
- Latență / Latenza: tempo necessario per ottenere un risultato utile.
Fonti e il prossimo passo
Per preparare: P02 — Ingegneria del contesto: cosa arriva al modello?