Reinforcement Learning, Robotik und aktuelle Forschung
Die KI-Forschung erforscht Lernagenten, Umgebungsmodelle und Kombinationen aus Regeln und Lernen.
Was Sie lernen werden
- Erklären Sie: Lernen aus Handlungen und Belohnungen
- Wenden Sie die Idee an einem Beispiel an: Reinforcement Learning, Robotik und aktuelle Forschung
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Die KI-Forschung erforscht Lernagenten, Umgebungsmodelle und Kombinationen aus Regeln und Lernen. Trennen Sie Beweise von Hypothesen.
Dies ist ein konzeptionelles oder externes Labor. Es wird nicht davon ausgegangen, dass die Anwendung alle beschriebenen Steuerelemente verfügbar macht.
Wie es funktioniert, Schritt für Schritt
Aus Handlungen und Belohnungen lernen
Beim Reinforcement Learning beobachtet ein Agent eine Umgebung, wählt Aktionen aus und erhält Belohnungen. Eine Richtlinie beschreibt die Aktionsauswahl; Das Ziel ist die kumulative Leistung und nicht nur die unmittelbare Belohnung. Eine schlecht gestaltete Belohnung kann unerwünschtes Verhalten fördern. Roboter fügen Sensoren, Aktoren und physikalische Einschränkungen hinzu. Ein Weltmodell versucht zu modellieren, wie sich die Umwelt verändert, aber Vorhersagen müssen validiert werden. Menschliches Feedback kann helfen, das Verhalten anzupassen, ohne Sicherheit zu gewährleisten. Ein LLM-Agent, der Tools verwendet, wird nicht automatisch online mit RL geschult.
Wie Lernen ein Modell verändert
Trainingsdaten sind die Beispiele, die zum Anpassen von Modellparametern verwendet werden. Überwachtes Lernen beinhaltet ein Ziel, beispielsweise „Spam“. Unüberwachtes Lernen findet Strukturen, beispielsweise Kundengruppen. Selbstüberwachtes Lernen erstellt Ziele aus Daten, beispielsweise die Vorhersage folgender Texte. Die Validierung hilft bei der Auswahl der Einstellungen. Der Testsatz bleibt bis zur endgültigen Auswertung getrennt. Ein Modell, das sich Beispiele merkt und bei neuen Daten versagt, ist überangepasst. Eine ordnungsgemäße Aufteilung verhindert, dass Informationen aus dem Testsatz in das Training gelangen.
Definieren Sie den Erfolg vor der Optimierung
Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Reinforcement Learning und Robotik sind externe Themen; Belohnungsgesteuertes Training unterscheidet sich von gewöhnlicher Agenteninferenz. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
In einem Labyrinth unterscheidet sich die Belohnung des Verlassens von der Belohnung der Bewegung. Ein Weltmodell kann Übergänge vorhersagen, während symbolische Regeln Zonen verbieten. Die Robotik fügt physikalische Grenzen hinzu.
Probieren Sie es selbst aus
- Entwerfen Sie Labyrinth-Belohnungen und identifizieren Sie eine Möglichkeit, diese auszunutzen.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Die Richtlinie folgt dem entworfenen Ziel und wird in neuen Situationen getestet; Die Benchmark-Leistung begründet keinen AGI. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
Neurosymbolische Systeme, Weltmodelle und AGI sind keine Synonyme. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Lernt jeder Tool-nutzende Agent während eines Gesprächs mit RL?
Nein. Die Verwendung eines trainierten Modells und die Umschulung sind unterschiedliche Prozesse.
Warum nicht nur Trainingsdaten auswerten?
Wir wollen Leistung in neuen Situationen, keinen Beweis für das Auswendiglernen.
Zu welchem Ergebnis soll diese Übung führen?
Die Richtlinie folgt dem entworfenen Ziel und wird in neuen Situationen getestet; Die Benchmark-Leistung begründet keinen AGI.
Wichtige Begriffe
- Politik: Eine erlernte Regel zur Auswahl von Aktionen.
- Überanpassung: Das Modell passt zu gut zu den Beispielen, die es gesehen hat.
- Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: X04 – Modelle anpassen und bedienen