Come misurare se l’intelligenza artificiale è utile
L'utilità si misura in base ai risultati degli utenti.
Cosa imparerai
- Spiegare: definire il successo prima di ottimizzare
- Applica l'idea in un esempio: come misurare se l'intelligenza artificiale è utile
- Riconoscere i limiti e verificare il risultato dell'esercizio
L'utilità si misura in base ai risultati degli utenti. Definisci i criteri prima di vedere le risposte piuttosto che modificare le regole in seguito.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
La fluidità e la verità vengono verificate separatamente
Un'allucinazione è un contenuto non supportato o errato presentato come risposta. Può derivare da informazioni mancanti, ambiguità o modelli combinati in modo errato. Richiedi prove e controlla il documento originale, la data, le unità e le condizioni. Una vera citazione potrebbe comunque non supportare l'affermazione. Utilizza fonti attuali per fatti attuali, una calcolatrice per l'aritmetica e "non puoi determinare" quando mancano le prove. Non trattare la fiducia espressa in prosa come una probabilità calibrata.
Il costo appartiene all'intero percorso
Conta le chiamate ai modelli, i token di input e output, gli incorporamenti, la riclassificazione, la visione e gli strumenti. Il ragionamento può consumare token fatturabili senza una risposta visibile altrettanto lunga. I costi di indicizzazione e i costi di conversazione differiscono. Utilizza i prezzi correnti anziché un numero permanente di un corso. Una stima semplice è token/1.000.000 × prezzo più operazioni aggiuntive; i crediti dell'applicazione possono avere la propria conversione. Confronta i costi per attività riuscita, non solo per chiamata. L'esecuzione parallela può ridurre la latenza aumentando al contempo il consumo totale. Un budget necessita di una condizione di arresto verificata.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Per le FAQ segnare scadenza corretta, condizioni preservate, chiarezza e assenza di affermazioni inventate. La prosa elegante con una scadenza sbagliata non soddisfa il criterio critico.
Provalo tu stesso
- Crea una rubrica per 20 richieste e specifica quali errori bloccano l'avvio.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
La rubrica separa i criteri richiesti dalle preferenze di stile e consente confronti ripetibili. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Una media può nascondere un fallimento raro ma importante. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Un buon punteggio di stile dimostra il successo dell'agente?
No. L'agente potrebbe scrivere magnificamente dopo aver utilizzato lo strumento o i dati sbagliati.
È sufficiente un collegamento in una risposta?
NO; deve supportare la richiesta specifica e adattarsi al tempo e alle circostanze.
Quale risultato dovrebbe produrre questo esercizio?
La rubrica separa i criteri richiesti dalle preferenze di stile e consente confronti ripetibili.
Termini da ricordare
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
- Messa a terra: Fondare una risposta su prove verificabili.
- Latență / Latenza: tempo necessario per ottenere un risultato utile.
Fonti e il prossimo passo
Per preparare: U02 — Il parco giochi come laboratorio · D04 — Buone domande per testare RAG