Documenten voorbereiden voor AI

Een goede kennisbank begint met schone, actuele documenten.

Wat je gaat leren

  • Leg uit: goede documenten gaan vóór goede antwoorden
  • Pas het idee toe in een voorbeeld: documenten voorbereiden voor AI
  • Herken beperkingen en verifieer het resultaat van de oefening

Een goede kennisbank begint met schone, actuele documenten. Het model kan niet zelfstandig beslissen welk conflicterend beleid geldig is.

Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.

Hoe het werkt, stap voor stap

Goede documenten gaan vóór goede antwoorden

Zorg voor leesbare tekst, duidelijke kopjes, tabellen met kopteksten en bronnen zonder onnodige duplicaten. Chunking verdeelt een document in afzonderlijk opvraagbare passages; overlap bewaart de continuïteit tussen buren. Een klein deel kan omstandigheden verliezen, terwijl een groot deel ruis introduceert. Metagegevens behouden de bron, positie en versie, plus het toegangsbereik waar dit door de implementatie wordt afgedwongen. Upload slaat het bestand op; indexering maakt het doorzoekbaar. Wanneer een bron verandert, controleer dan of oude stukken verdwijnen en nieuwe worden opgehaald voordat u de kennisbank actueel verklaart.

Vloeiendheid en waarheid worden afzonderlijk gecontroleerd

Een hallucinatie is niet-ondersteunde of onjuiste inhoud die als antwoord wordt gepresenteerd. Het kan voortkomen uit ontbrekende informatie, onduidelijkheid of verkeerd gecombineerde patronen. Vraag om bewijsmateriaal en controleer het originele document, de datum, de eenheden en de voorwaarden. Een echt citaat kan de bewering nog steeds niet ondersteunen. Gebruik actuele bronnen voor actuele feiten, een rekenmachine voor rekenen, en ‘kan niet vaststellen’ wanneer bewijs ontbreekt. Beschouw het in proza ​​uitgedrukte vertrouwen niet als een gekalibreerde waarschijnlijkheid.

Controleer de toegang vóór gebruik

Machtigingen moeten worden afgedwongen door servers en de gegevenslaag. Laat het model niet beslissen of een gebruiker een document mag zien. Filter bronnen voordat ze in de context terechtkomen, niet nadat het antwoord is gegenereerd. Gebruik inloggegevens voor minimale toegang, houd deze buiten prompts, schermafbeeldingen en browsercode en draai blootgestelde sleutels. Een toelatingslijst voor widgetdomeinen vervangt API-authenticatie niet. Authenticatie identificeert u; autorisatie bepaalt welke handelingen en gegevens u kunt gebruiken. Test ook toegang geweigerd.

Het verklarende schema

Documenten voorbereiden voor AI Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Verbindingen: Brondocumenten → Parseer en maak tekst schoon; Parseer en maak tekst schoon → Geëxtraheerde tekst; Geëxtraheerde tekst → Passages en bronmetagegevens; Passages en bronmetagegevens → Documentopname en indexering; Documentopname en indexering → Menselijke verificatie; Toestemming en gebruiksrechten → Parseer en maak tekst schoon; Bron, pagina en versie → Passages en bronmetagegevens; Originele bronnen → Menselijke verificatie; Afbeeldingen, grafieken en tabellen → Parseer en maak tekst schoon. D01 · Relatie kaart Documenten voorbereiden voor AI Invoer Brondocumenten Beslissing / controle Toestemming en gebruiksrechten Gegevens Bron, pagina en versie Verwerking Parseer en maak tekst schoon Gegevens Afbeeldingen, grafieken en tabellen Gegevens Geëxtraheerde tekst Gegevens Passages en bronmetagegevens Winkel / index Originele bronnen Verwerking Documentopname en indexering Beslissing / controle Menselijke verificatie Hoofdstroom Gegevens en context Feedback en retour

Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.

Een compleet voorbeeld

Een oude PDF zegt 30 dagen; huidige beleid zegt 14. Markeer versies, behoud de huidige bron en verwijder het verlopen duplicaat uit het actieve corpus.

Probeer het zelf

  1. Ruim twee conflicterende beleidsregels op en een tabel zonder kopteksten.
  2. Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
  3. Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
  4. Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een ​​antwoord verduidelijkt, stopt of verzint.
  5. Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.

Een uitgelegde oplossing

Het actieve corpus bevat een identificeerbaar beleid zonder conflicterende versies. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.

Wanneer deze aanpak helpt en wat de beperkingen zijn

Upload geen gevoelige documenten alleen voor een experiment. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.

Controleer wat je hebt geleerd

Betekent voltooide upload dat een document klaar is voor RAG?

Nee. Extractie, chunking en indexering moeten ook met succes worden voltooid.

Is een link in een antwoord voldoende?

Nee; het moet de specifieke claim ondersteunen en passen bij het tijdstip en de omstandigheden.

Welk resultaat moet deze oefening opleveren?

Het actieve corpus bevat een identificeerbaar beleid zonder conflicterende versies.

Begrippen om te onthouden

  • Brok: Een documentpassage die afzonderlijk kan worden opgevraagd.
  • Aarding: Een antwoord baseren op verifieerbaar bewijs.
  • Autorisatie / Autorisatie: het recht op toegang tot een bewerking of bron controleren.

Bronnen en uw volgende stap

Ter voorbereiding: R01 — Wat is RAG en waarom is het nuttig? · R03 — Naïeve RAG: uw basislijn