Un assistente per documenti complessi
Utilizzare un corpus per confrontare le strategie RAG.
Cosa imparerai
- Spiega: la ricerca e il posizionamento sono fasi diverse
- Applica l'idea in un esempio: un assistente per documenti complessi
- Riconoscere i limiti e verificare il risultato dell'esercizio
Utilizzare un corpus per confrontare le strategie RAG. Una modifica del modello necessita di una giustificazione misurata.
Questi passaggi si riferiscono alle funzionalità identificate nel codice dell'applicazione. Questo materiale non è stato convalidato su un'istanza live; controlla la documentazione e le opzioni nella tua versione.
Come funziona, passo dopo passo
La ricerca e il posizionamento sono fasi diverse
Il recupero seleziona i candidati e li ordina in classifica. top_k è il numero di risultati richiesti; incrementarlo può portare evidenza ma anche rumore. Un reranker esamina la query e i candidati più da vicino. Non può recuperare un passaggio mancante dall'elenco iniziale. BM25 cerca corrispondenze lessicali e aiuta con i codici esatti; la ricerca vettoriale cerca la somiglianza semantica. RRF combina le posizioni nelle classifiche invece di aggiungere punteggi con unità incompatibili. Le fasi aggiuntive devono giustificare la loro qualità, latenza e costi attraverso i test.
Relazioni esplicite con la provenienza
Un grafico contiene entità e relazioni, come Prodotto → usi → Parte. L'estrazione LLM può confondere nomi o inventare relazioni; conservare il documento comprovante ogni fatto. L'attraversamento limitato cerca connessioni tra più hop. Local Graph RAG combina i fatti Neo4j con passaggi vettoriali. Non è automaticamente la pipeline Microsoft GraphRAG con rilevamento e report della community. Le domande sulle dipendenze possono trarre vantaggio da un grafico; semplici domande FAQ possono essere più economiche con il recupero dei vettori.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Confronta la stessa domanda utilizzando configurazioni multimodali, grafiche e ibride separate. Le loro risposte vengono valutate separatamente, non fuse in un nuovo modello. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Le domande includono codici esatti, sinonimi, relazioni tra le parti e fonti mancanti. Test Naive, Rerank, Graph, Hybrid e Router; aggiungere Multimodale solo con ingestione visiva verificata.
Dati di esercizio fittizi
| Fonte | Informazioni da utilizzare |
|---|---|
| Catalogare | LX-240 utilizza la parte P-12; P-12 utilizza l'adattatore A-7. |
| Ritorni | Richieste entro 14 giorni dal ricevimento; prodotto non utilizzato nella confezione originale. |
| Consegna | Stimato 2-3 giorni lavorativi dopo la spedizione, non garantito. |
Domande iniziali: "Quale adattatore utilizza l'LX-240?", "Posso restituire un prodotto usato?" e "Quanto tempo richiede la consegna?". Aggiungi casi ambigui e senza risposta. Mantieni la stessa fonte in ogni confronto.
Provalo tu stesso
- Esegui test identici su tutte le varianti e controlla ogni risultato diverso.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
La tabella registra le evidenze recuperate, la correttezza, i tempi, i consumi e il percorso del Router, anche diretto. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Fonti o domande diverse invalidano il confronto. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Un reranker può correggere un documento non indicizzato?
No. Il passaggio deve prima esistere nell'indice e nella lista dei candidati.
Un vantaggio estratto dall’intelligenza artificiale dimostra che la relazione è vera?
No. Controlla la sua fonte e le identità delle entità.
Quale risultato dovrebbe produrre questo esercizio?
La tabella registra le evidenze recuperate, la correttezza, i tempi, i consumi e il percorso del Router, anche diretto.
Termini da ricordare
- Riclassificare: Un riordino più attento dei candidati già recuperati.
- Salto: Incrocio di una relazione in un grafico.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
Fonti e il prossimo passo
- Lewis et al. — Generazione aumentata di recupero
- Microsoft GraphRAG — panoramica delle query
- LangGraph — flussi di lavoro e agenti
Per preparare: R04 — Riclassifica RAG: prima prove migliori · R05 — RAG multimodale: i documenti contengono anche immagini · R06 — Grafici RAG e grafici della conoscenza · R07 — RAG ibrido: significato e parole esatte · R08 — Router RAG e scelta della strategia di recupero · E02 — Valutazione del RAG fase per fase