Hybrid RAG: significato e parole esatte
L'ibrido combina la ricerca semantica e lessicale.
Cosa imparerai
- Spiega: la ricerca e il posizionamento sono fasi diverse
- Applica l'idea in un esempio: RAG ibrido: significato e parole esatte
- Riconoscere i limiti e verificare il risultato dell'esercizio
L'ibrido combina la ricerca semantica e lessicale. Aiuta le query a combinare identificatori esatti e descrizioni in linguaggio naturale.
Questi passaggi si riferiscono alle funzionalità identificate nel codice dell'applicazione. Questo materiale non è stato convalidato su un'istanza live; controlla la documentazione e le opzioni nella tua versione.
Come funziona, passo dopo passo
La ricerca e il posizionamento sono fasi diverse
Il recupero seleziona i candidati e li ordina in classifica. top_k è il numero di risultati richiesti; incrementarlo può portare evidenza ma anche rumore. Un reranker esamina la query e i candidati più da vicino. Non può recuperare un passaggio mancante dall'elenco iniziale. BM25 cerca corrispondenze lessicali e aiuta con i codici esatti; la ricerca vettoriale cerca la somiglianza semantica. RRF combina le posizioni nelle classifiche invece di aggiungere punteggi con unità incompatibili. Le fasi aggiuntive devono giustificare la loro qualità, latenza e costi attraverso i test.
Coordinate di significato
Un incorporamento è un vettore numerico calcolato da un modello. I testi con significati correlati tendono a trovarsi uno vicino all’altro nello spazio di quel modello, ma la somiglianza non garantisce la rilevanza. Le query e i documenti devono condividere uno spazio compatibile: modello e dimensioni corrispondenti. Una mappa a due assi è illustrativa; i vettori reali possono avere centinaia o migliaia di dimensioni. Ricostruisci e riprova l'indice quando cambi modello o dimensioni. La somiglianza del coseno confronta le direzioni dei vettori; non è la probabilità che una risposta sia vera.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Laboratorio dettagliato
Cosa combina la RRF?
RRF preferisce i documenti classificati in alto in uno o più elenchi. Utilizza il rango anziché presupporre che i punteggi BM25 e la somiglianza dei vettori condividano una scala. Nel modello locale l'elenco fuso viene riclassificato prima dell'assemblaggio del contesto.
Ad esempio, la ricerca vettoriale posiziona il manuale sopra il catalogo; BM25 posiziona per primo il catalogo LX-240. La fusione può conservare entrambe le fonti di prova. La riclassificazione controlla la pertinenza della query. Se nessuno degli elenchi contiene le prove richieste, la fusione non può crearle.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Gli elenchi dei candidati semantici e BM25 vengono combinati da RRF, quindi riclassificati. Le due ricerche sono complementari; il disegno non implica esecuzione simultanea. Il recupero restituisce prove. Se un modello di risposta è abilitato, compone anche una risposta; le prove recuperate devono ancora essere verificate. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
Per "adattatore per LX-240", la ricerca vettoriale cattura il significato e BM25 aiuta con l'identificatore esatto. L'ibrido locale applica RRF, quindi riclassifica e genera.
template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5
Provalo tu stesso
- Configura vector_k=15, bm25_k=15 e final_top_k=5; confrontare con Naive sugli identificatori esatti.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Il passaggio giusto raggiunge l'elenco finale senza aggiungere direttamente punteggi vettoriali e BM25 incompatibili. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Una corrispondenza lessicale esatta potrebbe comunque provenire dalla versione sbagliata. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Un reranker può correggere un documento non indicizzato?
No. Il passaggio deve prima esistere nell'indice e nella lista dei candidati.
Puoi confrontare direttamente i vettori di diversi modelli?
Generalmente no; i loro spazi non sono automaticamente compatibili.
Quale risultato dovrebbe produrre questo esercizio?
Il passaggio giusto raggiunge l'elenco finale senza aggiungere direttamente punteggi vettoriali e BM25 incompatibili.
Termini da ricordare
- Riclassificare: Un riordino più attento dei candidati già recuperati.
- Incorporamento: una rappresentazione numerica utilizzata per confrontare il contenuto.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
Fonti e il prossimo passo
Per preparare: R06 — Grafici RAG e grafici della conoscenza