Was ist ein LLM und wie funktioniert es?
Ein LLM erstellt Antworten Token für Token.
Was Sie lernen werden
- Erklären Sie: vom Token zur Antwort
- Wenden Sie die Idee an einem Beispiel an: Was ist ein LLM und wie reagiert es darauf?
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Ein LLM erstellt Antworten Token für Token. Wir können es ohne komplizierte Formeln verstehen, indem wir verfolgen, was es empfängt und erzeugt.
Sie können diesen Kurs ohne Konto oder Programmierung absolvieren. Beispiele verwenden synthetische Daten und KI-Ergebnisse müssen überprüft werden.
Wie es funktioniert, Schritt für Schritt
Von Tokens zur Antwort
Ein Token ist eine Texteinheit: manchmal ein Wort, manchmal ein Wortfragment oder ein Satzzeichen. Das Modell verarbeitet Kontexttokens und schätzt eine Verteilung über das nächste Token. Die Auswahl wird bis zum Stoppen wiederholt. Transformer Attention kombiniert Informationen über Beziehungen zwischen Token; es ist keine menschliche Aufmerksamkeit. Beim Training werden Parameter geändert, während die Inferenz das trainierte Modell verwendet. Eine Antwort kann kohärent klingen, ohne wahr zu sein: Durch die Generierung von Text werden Fakten nicht unabhängig überprüft.
Der Kontext ist die Werkbank
Der Kontext umfasst Anweisungen, die aktuelle Anfrage, den relevanten Verlauf, abgerufene Dokumente und Toolergebnisse. Das Kontextfenster hat eine begrenzte Kapazität. Reservieren Sie auch Platz für die Antwort. Mehr Text verbessert nicht automatisch die Genauigkeit. Irrelevante Informationen und Widersprüche können wichtige Beweise verbergen. Fassen Sie den Gesprächsverlauf sorgfältig zusammen und bewahren Sie den Ursprung der Fakten. Der Status beschreibt den aktuellen Lauf, ein Prüfpunkt speichert einen fortsetzbaren Punkt und der persistente Speicher behält Informationen über alle Läufe hinweg. Hierbei handelt es sich um verschiedene Mechanismen, die von der Anwendung verwaltet werden.
Geläufigkeit und Wahrheit werden getrennt geprüft
Eine Halluzination ist ein nicht unterstützter oder falscher Inhalt, der als Antwort präsentiert wird. Es kann durch fehlende Informationen, Unklarheiten oder falsch kombinierte Muster entstehen. Fordern Sie Belege an und überprüfen Sie Originaldokument, Datum, Einheiten und Bedingungen. Ein echtes Zitat kann die Behauptung möglicherweise immer noch nicht stützen. Verwenden Sie aktuelle Quellen für aktuelle Fakten, einen Taschenrechner für die Arithmetik und „kann nicht feststellen“, wann Beweise fehlen. Behandeln Sie das in Prosa zum Ausdruck gebrachte Vertrauen nicht als kalibrierte Wahrscheinlichkeit.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
„Fassen Sie die Richtlinie in zwei Sätzen zusammen“ wird zu Token. Das Modell berücksichtigt die Anweisungen und Richtlinien, generiert nachfolgende Token und stoppt. Es werden Dokumente nicht automatisch durchsucht, es sei denn, die Anwendung bietet eine Abrufmöglichkeit.
Probieren Sie es selbst aus
- Schreiben Sie einen Richtlinienabsatz, fordern Sie zwei Zusammenfassungen an und entfernen Sie dann die Richtlinie.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Die Zusammenfassung bewahrt die Frist und Bedingungen. Wenn keine Richtlinie angegeben wird, sollte das Modell dieses Fehlen anerkennen. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
„Höchstwahrscheinlich“ bedeutet nicht „wahr“. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Ist ein Token immer ein Wort?
NEIN; Die Tokenisierung hängt vom Modell und der Sprache ab. Verwenden Sie den entsprechenden Tokenizer.
Ist ein Checkpoint ein permanenter Benutzerspeicher?
Nein. Das Speichern eines Laufs bedeutet nicht, dass die Präferenzen in allen Gesprächen beibehalten werden.
Zu welchem Ergebnis soll diese Übung führen?
Die Zusammenfassung bewahrt die Frist und Bedingungen. Wenn keine Richtlinie angegeben wird, sollte das Modell dieses Fehlen anerkennen.
Wichtige Begriffe
- Token: Eine vom Modell verwendete Einheit für Text- und Kontextgrenzen.
- Kontrollpunkt: Gespeicherter Zustand, der zum Fortsetzen einer Ausführung verwendet wird.
- Erdung: Eine Antwort auf nachprüfbare Beweise stützen.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: F02 – Wie lernt eine Maschine?