Chunking en metagegevens

Chunking bepaalt hoeveel context er in één passage wordt opgehaald. Metadata vertelt ons waar het vandaan komt en of het actueel is.

Dit is een conceptueel of extern laboratorium. Er wordt niet van uitgegaan dat de toepassing elk beschreven besturingselement blootlegt.

Hoe het werkt, stap voor stap

Goede documenten gaan vóór goede antwoorden

Zorg voor leesbare tekst, duidelijke kopjes, tabellen met kopteksten en bronnen zonder onnodige duplicaten. Chunking verdeelt een document in afzonderlijk opvraagbare passages; overlap bewaart de continuïteit tussen buren. Een klein deel kan omstandigheden verliezen, terwijl een groot deel ruis introduceert. Metagegevens behouden de bron, positie en versie, plus het toegangsbereik waar dit door de implementatie wordt afgedwongen. Upload slaat het bestand op; indexering maakt het doorzoekbaar. Wanneer een bron verandert, controleer dan of oude stukken verdwijnen en nieuwe worden opgehaald voordat u de kennisbank actueel verklaart.

Coördinaten voor betekenis

Een inbedding is een numerieke vector die door een model wordt berekend. Teksten met verwante betekenissen hebben de neiging dicht bij elkaar te liggen in de ruimte van dat model, maar gelijkenis garandeert geen relevantie. Query's en documenten moeten een compatibele ruimte delen: passend model en afmetingen. Een kaart met twee assen is illustratief; echte vectoren kunnen honderden of duizenden dimensies hebben. Herbouw en test de index opnieuw wanneer u het model of de afmetingen wijzigt. Cosinus-overeenkomst vergelijkt vectorrichtingen; het is niet de waarschijnlijkheid dat een antwoord waar is.

Definieer succes voordat u gaat optimaliseren

Bereid representatieve verzoeken en verwachte antwoorden of eigenschappen voor. Inclusief gewone gevallen, dubbelzinnigheid, ontbrekende gegevens en gereedschapsfouten. Meet voor RAG het ophalen van bewijsmateriaal afzonderlijk van de correctheid van het antwoord. Recall@k meet het aandeel relevant bewijsmateriaal gevonden in de eerste k-resultaten; Precision@k meet het aandeel geretourneerde resultaten dat relevant is. Voor agenten: houd ook acties, machtigingen en stoppen bij. Een LLM-als-rechter kan de evaluatie versnellen, maar moet worden gekalibreerd ten opzichte van mensen. Wijzig de prompt, het model en de index niet tegelijkertijd als u wilt begrijpen wat de resultaten verbeterden.

Het verklarende schema

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Door “14 dagen” te scheiden van “alleen ongebruikt” gaat de toestand verloren. Houd regels en uitzonderingen bij elkaar; tabelkoppen behouden in geëxtraheerde weergaven.

Probeer het zelf

1. Splits het beleid op twee manieren en vergelijk informatie die verloren gaat aan de grenzen.
2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

De relevante passage behoudt de deadline en voorwaarde, plus bronidentificatie. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Ga er niet van uit dat er een UI-besturingselement op chunk-grootte bestaat, tenzij dit zichtbaar is. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Betekent voltooide upload dat een document klaar is voor RAG?

Nee. Extractie, chunking en indexering moeten ook met succes worden voltooid.

Kun je vectoren uit verschillende modellen rechtstreeks vergelijken?

Over het algemeen nee; hun ruimtes zijn niet automatisch compatibel.

Welk resultaat moet deze oefening opleveren?

De relevante passage behoudt de deadline en voorwaarde, plus bronidentificatie.

Begrippen om te onthouden

• Brok: Een documentpassage die afzonderlijk kan worden opgevraagd.
• Inbedding: een numerieke weergave die wordt gebruikt om inhoud te vergelijken.
• Regressie / regressie: Een wijziging die een voorheen correcte casus doorbreekt.

Bronnen en uw volgende stap

• Lewis et al. — Retrieval-Augmented Generation
• LangGraph — Workflows en agenten

Ter voorbereiding: D02 — Uploaden, snelle indexering en batchindexering