Incorporamenti e ricerca vettoriale
Gli incorporamenti consentono la ricerca per significato anche quando la domanda differisce dalla formulazione del documento.
Cosa imparerai
- Spiegare: coordinate del significato
- Applica l'idea in un esempio: incorporamenti e ricerca vettoriale
- Riconoscere i limiti e verificare il risultato dell'esercizio
Gli incorporamenti consentono la ricerca per significato anche quando la domanda differisce dalla formulazione del documento. I vettori sono coordinate specifiche del modello.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
Coordinate di significato
Un incorporamento è un vettore numerico calcolato da un modello. I testi con significati correlati tendono a trovarsi uno vicino all’altro nello spazio di quel modello, ma la somiglianza non garantisce la rilevanza. Le query e i documenti devono condividere uno spazio compatibile: modello e dimensioni corrispondenti. Una mappa a due assi è illustrativa; i vettori reali possono avere centinaia o migliaia di dimensioni. Ricostruisci e riprova l'indice quando cambi modello o dimensioni. La somiglianza del coseno confronta le direzioni dei vettori; non è la probabilità che una risposta sia vera.
La ricerca e il posizionamento sono fasi diverse
Il recupero seleziona i candidati e li ordina in classifica. top_k è il numero di risultati richiesti; incrementarlo può portare evidenza ma anche rumore. Un reranker esamina la query e i candidati più da vicino. Non può recuperare un passaggio mancante dall'elenco iniziale. BM25 cerca corrispondenze lessicali e aiuta con i codici esatti; la ricerca vettoriale cerca la somiglianza semantica. RRF combina le posizioni nelle classifiche invece di aggiungere punteggi con unità incompatibili. Le fasi aggiuntive devono giustificare la loro qualità, latenza e costi attraverso i test.
I buoni documenti vengono prima delle buone risposte
Prepara testo leggibile, titoli chiari, tabelle con intestazioni e fonti senza duplicati inutili. Il Chunking divide un documento in passaggi recuperabili separatamente; la sovrapposizione preserva la continuità tra i vicini. Un pezzo corto può perdere condizioni, mentre uno grande introduce rumore. I metadati preservano l'origine, la posizione e la versione, oltre all'ambito di accesso laddove imposto dall'implementazione. Il caricamento memorizza il file; l'indicizzazione lo rende ricercabile. Quando una fonte cambia, controlla che i vecchi blocchi scompaiano e che quelli nuovi vengano recuperati prima di dichiarare corrente la knowledge base.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Il recupero restituisce prove. Se un modello di risposta è abilitato, compone anche una risposta; le prove recuperate devono ancora essere verificate. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
"Quando arriva il mio pacco?" può trovare "La consegna richiede 2-3 giorni". "Codice LX-240" ha anche una componente di corrispondenza esatta che la ricerca lessicale può aiutare.
Provalo tu stesso
- Confronta due domande equivalenti e una con un codice esatto diverso.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Individuare il passaggio rilevante e verificarne le condizioni; la somiglianza non è la probabilità della verità. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Dimensioni uguali non garantiscono spazi vettoriali compatibili. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Puoi confrontare direttamente i vettori di diversi modelli?
Generalmente no; i loro spazi non sono automaticamente compatibili.
Un reranker può correggere un documento non indicizzato?
No. Il passaggio deve prima esistere nell'indice e nella lista dei candidati.
Quale risultato dovrebbe produrre questo esercizio?
Individuare il passaggio rilevante e verificarne le condizioni; la somiglianza non è la probabilità della verità.
Termini da ricordare
- Incorporamento: una rappresentazione numerica utilizzata per confrontare il contenuto.
- Riclassificare: Un riordino più attento dei candidati già recuperati.
- Pezzo: Un passaggio di documento che può essere recuperato separatamente.
Fonti e il prossimo passo
Per preparare: R01 — Cos'è RAG e perché è utile?