Inbedding en zoeken naar vectoren

Dankzij insluitingen kan er op betekenis worden gezocht, zelfs als de vraag afwijkt van de tekst in het document. Vectoren zijn modelspecifieke coördinaten.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Coördinaten voor betekenis

Een inbedding is een numerieke vector die door een model wordt berekend. Teksten met verwante betekenissen hebben de neiging dicht bij elkaar te liggen in de ruimte van dat model, maar gelijkenis garandeert geen relevantie. Query's en documenten moeten een compatibele ruimte delen: passend model en afmetingen. Een kaart met twee assen is illustratief; echte vectoren kunnen honderden of duizenden dimensies hebben. Herbouw en test de index opnieuw wanneer u het model of de afmetingen wijzigt. Cosinus-overeenkomst vergelijkt vectorrichtingen; het is niet de waarschijnlijkheid dat een antwoord waar is.

Zoeken en rangschikken zijn verschillende fasen

Retrieval selecteert kandidaten en rangschikt ze. top_k is het aantal opgevraagde resultaten; het vergroten ervan kan bewijs opleveren, maar ook lawaai. Een reranker onderzoekt de vraag en kandidaten nader. Het kan een ontbrekende passage in de oorspronkelijke lijst niet herstellen. BM25 zoekt naar lexicale overeenkomsten en helpt met exacte codes; vector zoeken zoekt naar semantische gelijkenis. RRF combineert posities in gerangschikte lijsten in plaats van scores toe te voegen met incompatibele eenheden. Extra fasen moeten hun kwaliteit, latentie en kosten rechtvaardigen door middel van testen.

Goede documenten gaan vóór goede antwoorden

Zorg voor leesbare tekst, duidelijke kopjes, tabellen met kopteksten en bronnen zonder onnodige duplicaten. Chunking verdeelt een document in afzonderlijk opvraagbare passages; overlap bewaart de continuïteit tussen buren. Een klein deel kan omstandigheden verliezen, terwijl een groot deel ruis introduceert. Metagegevens behouden de bron, positie en versie, plus het toegangsbereik waar dit door de implementatie wordt afgedwongen. Upload slaat het bestand op; indexering maakt het doorzoekbaar. Wanneer een bron verandert, controleer dan of oude stukken verdwijnen en nieuwe worden opgehaald voordat u de kennisbank actueel verklaart.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Ophalen levert bewijsmateriaal op. Als een antwoordmodel is ingeschakeld, wordt er ook een antwoord samengesteld; Het opgehaalde bewijsmateriaal moet nog worden gecontroleerd. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

“Wanneer komt mijn pakket aan?” vindt u 'Levering duurt 2-3 dagen'. “Code LX-240” heeft ook een exacte matchcomponent die lexicale zoekopdrachten kan helpen.

Probeer het zelf

1. Vergelijk twee gelijkwaardige vragen en één met een andere exacte code.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Identificeer de relevante passage en controleer de voorwaarden ervan; gelijkenis is geen waarheidswaarschijnlijkheid. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Gelijke afmetingen garanderen geen compatibele vectorruimten. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Kun je vectoren uit verschillende modellen rechtstreeks vergelijken?

Over het algemeen nee; hun ruimtes zijn niet automatisch compatibel.

Kan een reranker een niet-geïndexeerd document repareren?

Nee. De passage moet eerst voorkomen in de index en kandidatenlijst.

Welk resultaat moet deze oefening opleveren?

Identificeer de relevante passage en controleer de voorwaarden ervan; gelijkenis is geen waarheidswaarschijnlijkheid.

Begrippen om te onthouden

• Inbedding: een numerieke weergave die wordt gebruikt om inhoud te vergelijken.
• Herrangschikken: Een zorgvuldiger herschikking van reeds opgehaalde kandidaten.
• Brok: Een documentpassage die afzonderlijk kan worden opgevraagd.

Bronnen en uw volgende stap

• Lewis et al. — Retrieval-Augmented Generation

Ter voorbereiding: R01 — Wat is RAG en waarom is het nuttig?