Valutare il RAG fase per fase

Separare le prove recuperate dal modo in cui le utilizza il modello. Altrimenti potresti ottimizzare la fase sbagliata.

Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.

Come funziona, passo dopo passo

Definire il successo prima di ottimizzare

Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.

La ricerca e il posizionamento sono fasi diverse

Il recupero seleziona i candidati e li ordina in classifica. top_k è il numero di risultati richiesti; incrementarlo può portare evidenza ma anche rumore. Un reranker esamina la query e i candidati più da vicino. Non può recuperare un passaggio mancante dall'elenco iniziale. BM25 cerca corrispondenze lessicali e aiuta con i codici esatti; la ricerca vettoriale cerca la somiglianza semantica. RRF combina le posizioni nelle classifiche invece di aggiungere punteggi con unità incompatibili. Le fasi aggiuntive devono giustificare la loro qualità, latenza e costi attraverso i test.

La fluidità e la verità vengono verificate separatamente

Un'allucinazione è un contenuto non supportato o errato presentato come risposta. Può derivare da informazioni mancanti, ambiguità o modelli combinati in modo errato. Richiedi prove e controlla il documento originale, la data, le unità e le condizioni. Una vera citazione potrebbe comunque non supportare l'affermazione. Utilizza fonti attuali per fatti attuali, una calcolatrice per l'aritmetica e "non puoi determinare" quando mancano le prove. Non trattare la fiducia espressa in prosa come una probabilità calibrata.

Lo schema esplicativo

Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.

Un esempio completo

Recupera uno dei due passaggi rilevanti in quattro risultati: richiamo=1/2 e precisione=1/4 per quel caso. La risposta può ancora omettere una condizione dal passaggio recuperato.

Provalo tu stesso

1. Etichetta i passaggi rilevanti per cinque domande e confronta il recupero con la generazione.
2. Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
3. Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
4. Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
5. Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.

Una soluzione spiegata

Riportare separatamente la copertura delle prove, la pertinenza dei risultati e il supporto della richiesta finale. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.

Quando è utile e quali sono i suoi limiti

Un punteggio vettoriale elevato non sostituisce l'etichettatura di pertinenza. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.

Verifica ciò che hai imparato

Un buon punteggio di stile dimostra il successo dell'agente?

No. L'agente potrebbe scrivere magnificamente dopo aver utilizzato lo strumento o i dati sbagliati.

Un reranker può correggere un documento non indicizzato?

No. Il passaggio deve prima esistere nell'indice e nella lista dei candidati.

Quale risultato dovrebbe produrre questo esercizio?

Riportare separatamente la copertura delle prove, la pertinenza dei risultati e il supporto della richiesta finale.

Termini da ricordare

• Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
• Riclassificare: Un riordino più attento dei candidati già recuperati.
• Messa a terra: Fondare una risposta su prove verificabili.

Fonti e il prossimo passo

• LangGraph — flussi di lavoro e agenti
• Lewis et al. — Generazione aumentata di recupero
• Hugging Face — Corso LLM

Per preparare: E01 — Come misurare se l'intelligenza artificiale è utile