Perché RAG risponde male?
Riparare la fase fallita.
Cosa imparerai
- Spiega: i buoni documenti vengono prima delle buone risposte
- Applica l'idea in un esempio: perché RAG risponde male?
- Riconoscere i limiti e verificare il risultato dell'esercizio
Riparare la fase fallita. I cambiamenti tempestivi non aiutano quando le prove necessarie non raggiungono mai il contesto.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
I buoni documenti vengono prima delle buone risposte
Prepara testo leggibile, titoli chiari, tabelle con intestazioni e fonti senza duplicati inutili. Il Chunking divide un documento in passaggi recuperabili separatamente; la sovrapposizione preserva la continuità tra i vicini. Un pezzo corto può perdere condizioni, mentre uno grande introduce rumore. I metadati preservano l'origine, la posizione e la versione, oltre all'ambito di accesso laddove imposto dall'implementazione. Il caricamento memorizza il file; l'indicizzazione lo rende ricercabile. Quando una fonte cambia, controlla che i vecchi blocchi scompaiano e che quelli nuovi vengano recuperati prima di dichiarare corrente la knowledge base.
La ricerca e il posizionamento sono fasi diverse
Il recupero seleziona i candidati e li ordina in classifica. top_k è il numero di risultati richiesti; incrementarlo può portare evidenza ma anche rumore. Un reranker esamina la query e i candidati più da vicino. Non può recuperare un passaggio mancante dall'elenco iniziale. BM25 cerca corrispondenze lessicali e aiuta con i codici esatti; la ricerca vettoriale cerca la somiglianza semantica. RRF combina le posizioni nelle classifiche invece di aggiungere punteggi con unità incompatibili. Le fasi aggiuntive devono giustificare la loro qualità, latenza e costi attraverso i test.
La fluidità e la verità vengono verificate separatamente
Un'allucinazione è un contenuto non supportato o errato presentato come risposta. Può derivare da informazioni mancanti, ambiguità o modelli combinati in modo errato. Richiedi prove e controlla il documento originale, la data, le unità e le condizioni. Una vera citazione potrebbe comunque non supportare l'affermazione. Utilizza fonti attuali per fatti attuali, una calcolatrice per l'aritmetica e "non puoi determinare" quando mancano le prove. Non trattare la fiducia espressa in prosa come una probabilità calibrata.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Il testo è nel PDF? È stato estratto? Il pezzo esiste? È diventato un candidato? È nel contesto? La risposta lo usa correttamente? Questi controlli separano sei cause.
Provalo tu stesso
- Diagnostica estrazioni vuote, classifiche basse, condizioni troncate, fonti obsolete e affermazioni inventate.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Identifica la prima fase con dati mancanti o errati e testa una modifica mirata. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
L'aumento di top_k non può correggere l'estrazione vuota. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Il caricamento completato significa che un documento è pronto per RAG?
No. Anche l'estrazione, la suddivisione in blocchi e l'indicizzazione devono essere completate correttamente.
Un reranker può correggere un documento non indicizzato?
No. Il passaggio deve prima esistere nell'indice e nella lista dei candidati.
Quale risultato dovrebbe produrre questo esercizio?
Identifica la prima fase con dati mancanti o errati e testa una modifica mirata.
Termini da ricordare
- Pezzo: Un passaggio di documento che può essere recuperato separatamente.
- Riclassificare: Un riordino più attento dei candidati già recuperati.
- Messa a terra: Fondare una risposta su prove verificabili.
Fonti e il prossimo passo
Per preparare: D04 — Buone domande per testare RAG