Wat is een LLM en hoe antwoordt deze?
Een LLM bouwt antwoorden token voor token op.
Wat je gaat leren
- Leg uit: van tokens naar een antwoord
- Pas het idee toe in een voorbeeld: wat is een LLM en hoe beantwoordt het?
- Herken beperkingen en verifieer het resultaat van de oefening
Een LLM bouwt antwoorden token voor token op. We kunnen het begrijpen zonder geavanceerde formules door te volgen wat het ontvangt en genereert.
Je kunt deze cursus volgen zonder account of programmering. Voorbeelden maken gebruik van synthetische gegevens en AI-resultaten moeten worden gecontroleerd.
Hoe het werkt, stap voor stap
Van tokens naar een antwoord
Een token is een teksteenheid: soms een woord, soms een woordfragment of leesteken. Het model verwerkt contexttokens en schat een verdeling over het volgende token. De selectie wordt herhaald totdat deze stopt. Transformer-aandacht combineert informatie over relaties tussen tokens; het is geen menselijke aandacht. Training verandert parameters, terwijl inferentie het getrainde model gebruikt. Een antwoord kan coherent klinken zonder waar te zijn: het genereren van tekst verifieert niet onafhankelijk de feiten.
Context is de werkbank
Context omvat instructies, de huidige aanvraag, relevante geschiedenis, opgehaalde documenten en toolresultaten. Het contextvenster heeft een beperkte capaciteit; reserveer ook ruimte voor de reactie. Meer tekst verbetert niet automatisch de nauwkeurigheid. Irrelevante informatie en tegenstrijdigheden kunnen belangrijk bewijsmateriaal verbergen. Vat de gespreksgeschiedenis zorgvuldig samen en bewaar de oorsprong van feiten. De status beschrijft de huidige run, een controlepunt slaat een hervatbaar punt op en het persistente geheugen bewaart informatie over de runs heen. Dit zijn verschillende mechanismen die door de applicatie worden beheerd.
Vloeiendheid en waarheid worden afzonderlijk gecontroleerd
Een hallucinatie is niet-ondersteunde of onjuiste inhoud die als antwoord wordt gepresenteerd. Het kan voortkomen uit ontbrekende informatie, onduidelijkheid of verkeerd gecombineerde patronen. Vraag om bewijsmateriaal en controleer het originele document, de datum, de eenheden en de voorwaarden. Een echt citaat kan de bewering nog steeds niet ondersteunen. Gebruik actuele bronnen voor actuele feiten, een rekenmachine voor rekenen, en ‘kan niet vaststellen’ wanneer bewijs ontbreekt. Beschouw het in proza uitgedrukte vertrouwen niet als een gekalibreerde waarschijnlijkheid.
Het verklarende schema
Volg de ononderbroken pijlen voor de hoofdstroom. Gestippelde blauwe pijlen leveren gegevens of context; roze pijlen geven feedback of geretourneerde resultaten weer. Kleuren en vormen onderscheiden modellen, winkels, beslissingen en resultaten. Scrol op kleine schermen horizontaal om het hele schema te volgen.
Een compleet voorbeeld
“Samen het beleid in twee zinnen samen” wordt tokens. Het model houdt rekening met de instructie en het beleid en genereert daaropvolgende tokens en stops. Er worden documenten niet automatisch doorzocht, tenzij de toepassing het ophalen mogelijk maakt.
Probeer het zelf
- Schrijf een beleidsparagraaf, vraag twee samenvattingen aan en verwijder vervolgens het beleid.
- Leg de input, bron en verwachte uitkomst vast voordat u het experiment uitvoert. Gebruik alleen de fictieve gegevens in het voorbeeld.
- Volg de diagramfasen. Registreer bij elke stap welke informatie wordt ontvangen en geproduceerd; verwar de tussentijdse output niet met het uiteindelijke resultaat.
- Herhaal dit nadat de noodzakelijke informatie is verwijderd of de invoer dubbelzinnig is gemaakt. Controleer of het systeem een antwoord verduidelijkt, stopt of verzint.
- Vergelijk met de uitgelegde oplossing. Bewaar de configuratie, datum, resultaat en een verklaring voor verschillen. Verander één ding en test opnieuw.
Een uitgelegde oplossing
De samenvatting behoudt de deadline en voorwaarden. Als er geen beleid wordt geleverd, moet het model die afwezigheid erkennen. Met een succesvolle oefening kun je het verband tussen input, fasen en uitkomst laten zien. Als er informatie ontbreekt, is een voorzichtig antwoord nuttiger dan verzonnen details. Vergelijk meer dan stijl: controleer ook voorwaarden, bronnen en bewerkingen.
Wanneer deze aanpak helpt en wat de beperkingen zijn
‘Hoogstwaarschijnlijk’ betekent niet ‘waar’. Kies deze aanpak wanneer deze een gemeten behoefte verbetert. Houd een eenvoudige basislijn aan en vergelijk de resultaten met behulp van identieke inputs. Eén succesvol voorbeeld garandeert niet in elke situatie betrouwbaarheid.
Controleer wat je hebt geleerd
Is een token altijd een woord?
Nee; tokenisatie is afhankelijk van het model en de taal. Gebruik de juiste tokenizer.
Is een controlepunt permanent gebruikersgeheugen?
Nee. Het opslaan van een run betekent niet dat de voorkeuren voor gesprekken behouden blijven.
Welk resultaat moet deze oefening opleveren?
De samenvatting behoudt de deadline en voorwaarden. Als er geen beleid wordt geleverd, moet het model die afwezigheid erkennen.
Begrippen om te onthouden
- Token: Een eenheid die door het model wordt gebruikt voor tekst- en contextlimieten.
- Controlepunt: opgeslagen status die wordt gebruikt om een uitvoering te hervatten.
- Aarding: Een antwoord baseren op verifieerbaar bewijs.
Bronnen en uw volgende stap
Ter voorbereiding: F02 — Hoe leert een machine?