Hybrid RAG: betekenis en exacte woorden

Hybride combineert semantisch en lexicaal zoeken. Het helpt bij zoekopdrachten waarbij exacte identificatiegegevens en beschrijvingen in natuurlijke taal worden gecombineerd.

Deze stappen verwijzen naar de functies die in de applicatiecode zijn geïdentificeerd. Dit materiaal is niet gevalideerd op een live exemplaar; controleer de documentatie en de opties in uw versie.

Hoe het werkt, stap voor stap

Zoeken en rangschikken zijn verschillende fasen

Retrieval selecteert kandidaten en rangschikt ze. top_k is het aantal opgevraagde resultaten; het vergroten ervan kan bewijs opleveren, maar ook lawaai. Een reranker onderzoekt de vraag en kandidaten nader. Het kan een ontbrekende passage in de oorspronkelijke lijst niet herstellen. BM25 zoekt naar lexicale overeenkomsten en helpt met exacte codes; vector zoeken zoekt naar semantische gelijkenis. RRF combineert posities in gerangschikte lijsten in plaats van scores toe te voegen met incompatibele eenheden. Extra fasen moeten hun kwaliteit, latentie en kosten rechtvaardigen door middel van testen.

Coördinaten voor betekenis

Een inbedding is een numerieke vector die door een model wordt berekend. Teksten met verwante betekenissen hebben de neiging dicht bij elkaar te liggen in de ruimte van dat model, maar gelijkenis garandeert geen relevantie. Query's en documenten moeten een compatibele ruimte delen: passend model en afmetingen. Een kaart met twee assen is illustratief; echte vectoren kunnen honderden of duizenden dimensies hebben. Herbouw en test de index opnieuw wanneer u het model of de afmetingen wijzigt. Cosinus-overeenkomst vergelijkt vectorrichtingen; het is niet de waarschijnlijkheid dat een antwoord waar is.

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Gedetailleerd laboratorium

Wat combineert RRF?

RRF geeft de voorkeur aan documenten die hoog scoren in een of meer lijsten. Er wordt gebruik gemaakt van rang in plaats van aan te nemen dat BM25-scores en vectorovereenkomsten een schaal delen. In de lokale sjabloon wordt de gefuseerde lijst opnieuw gerangschikt voordat de context wordt samengesteld.

Met vectorzoeken wordt de handleiding bijvoorbeeld boven de catalogus geplaatst; BM25 plaatst de LX-240-catalogus op de eerste plaats. Fusion kan beide bewijsbronnen behouden. Bij het opnieuw rangschikken wordt de relevantie van de zoekopdracht gecontroleerd. Als geen van beide lijsten het vereiste bewijsmateriaal bevat, kan fusion dit niet creëren.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Semantische en BM25-kandidatenlijsten worden gecombineerd door RRF en vervolgens opnieuw gerangschikt. De twee zoekopdrachten zijn complementair; de tekening impliceert geen gelijktijdige uitvoering. Ophalen levert bewijsmateriaal op. Als een antwoordmodel is ingeschakeld, wordt er ook een antwoord samengesteld; Het opgehaalde bewijsmateriaal moet nog worden gecontroleerd. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Voor “adapter voor LX-240” legt vectorzoekopdracht de betekenis vast en BM25 helpt met de exacte identificatie. Lokale hybride past RRF toe, herrangschikt en genereert vervolgens.

template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5

Probeer het zelf

1. Configureer vector_k=15, bm25_k=15 en final_top_k=5; vergelijk met Naive wat betreft exacte identificatiegegevens.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

De juiste passage bereikt de definitieve lijst zonder direct incompatibele vector- en BM25-scores toe te voegen. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Een exacte lexicale match kan nog steeds uit de verkeerde versie komen. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Kan een reranker een niet-geïndexeerd document repareren?

Nee. De passage moet eerst voorkomen in de index en kandidatenlijst.

Kun je vectoren uit verschillende modellen rechtstreeks vergelijken?

Over het algemeen nee; hun ruimtes zijn niet automatisch compatibel.

Welk resultaat moet deze oefening opleveren?

De juiste passage bereikt de definitieve lijst zonder direct incompatibele vector- en BM25-scores toe te voegen.

Begrippen om te onthouden

• Herrangschikken: Een zorgvuldiger herschikking van reeds opgehaalde kandidaten.
• Inbedding: een numerieke weergave die wordt gebruikt om inhoud te vergelijken.
• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.

Bronnen en uw volgende stap

• Lewis et al. — Retrieval-Augmented Generation
• LangGraph — Workflows en agenten

Ter voorbereiding: R06 — Grafiek RAG en kennisgrafieken