Come scegliere un modello di intelligenza artificiale adatto
Il modello migliore per te riesce a portare a termine le tue attività a costi e latenza accettabili.
Cosa imparerai
- Spiega: scegli per compito e capacità
- Applica l'idea in un esempio: come scegliere un modello di intelligenza artificiale adatto
- Riconoscere i limiti e verificare il risultato dell'esercizio
Il modello migliore per te riesce a portare a termine le tue attività a costi e latenza accettabili. Una classifica generale non può sostituire i test locali.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
Scegli per attività e capacità
Controlla la lingua, il contesto, la chiamata degli strumenti, l'output strutturato e le modalità di input supportate. Confronta modelli su richieste identiche utilizzando la stessa rubrica e un budget realistico. Campionamento dei cambiamenti di temperatura, non verità. Lo sforzo di ragionamento alloca gli sforzi per modelli compatibili e può aumentare tempi e costi; i valori accettati variano. I modelli locali offrono il controllo dell’infrastruttura ma richiedono risorse e manutenzione. I pesi aperti non garantiscono una licenza illimitata o un codice di allenamento completo. Cataloghi e prezzi cambiano; leggere la scheda del modello attuale.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Il costo appartiene all'intero percorso
Conta le chiamate ai modelli, i token di input e output, gli incorporamenti, la riclassificazione, la visione e gli strumenti. Il ragionamento può consumare token fatturabili senza una risposta visibile altrettanto lunga. I costi di indicizzazione e i costi di conversazione differiscono. Utilizza i prezzi correnti anziché un numero permanente di un corso. Una stima semplice è token/1.000.000 × prezzo più operazioni aggiuntive; i crediti dell'applicazione possono avere la propria conversione. Confronta i costi per attività riuscita, non solo per chiamata. L'esecuzione parallela può ridurre la latenza aumentando al contempo il consumo totale. Un budget necessita di una condizione di arresto verificata.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Confronta un modello piccolo e uno più grande su dieci domande rumene, due chiamate a strumenti e un documento illustrato. Controllare separatamente la visione e il supporto dello strumento.
Provalo tu stesso
- Costruisci una tabella di selezione e imposta le soglie prima del test.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Il confronto include successo, latenza, costi e capacità richieste; i modelli incompatibili vengono esclusi prima del punteggio. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Pesi aperti e liberi non sono sinonimi. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
La temperatura zero garantisce la correttezza?
No. Può ridurre la variazione, ma una risposta stabile può comunque essere sbagliata.
Un buon punteggio di stile dimostra il successo dell'agente?
No. L'agente potrebbe scrivere magnificamente dopo aver utilizzato lo strumento o i dati sbagliati.
Quale risultato dovrebbe produrre questo esercizio?
Il confronto include successo, latenza, costi e capacità richieste; i modelli incompatibili vengono esclusi prima del punteggio.
Termini da ricordare
- Sforzo di ragionamento: un'impostazione dipendente dal modello che controlla lo sforzo di ragionamento.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
- Latență / Latenza: tempo necessario per ottenere un risultato utile.
Fonti e il prossimo passo
Per preparare: P03 — Temperatura, limiti e sforzo di ragionamento