Spielplatz als Labor
Playground macht Gesprächsschritte sichtbar.
Was Sie lernen werden
- Erklären Sie: eine begrenzte Agentenschleife
- Wenden Sie die Idee an einem Beispiel an: Spielplatz als Labor
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Playground macht Gesprächsschritte sichtbar. Nutzen Sie es für kontrollierte Vergleiche und nicht nur für erfolgreiche Demos.
Diese Schritte beziehen sich auf im Anwendungscode identifizierte Funktionen. Dieses Material wurde nicht in einer Live-Instanz validiert; Überprüfen Sie die Dokumentation und die Optionen in Ihrer Version.
Wie es funktioniert, Schritt für Schritt
Eine begrenzte Agentenschleife
Ein Agent kombiniert ein Modell mit Werkzeugen, einem Ziel und einem Zustand. Es beobachtet die Anfrage, wählt einen Schritt, erhält ein Ergebnis und entscheidet, ob es fortfährt. Ein Chatbot darf nur Text generieren; Ein Agent kann eine externe Aktion anfordern. Kommerzielle Definitionen variieren. Überprüfen Sie daher die tatsächliche Kontrolle. Definieren Sie Erfolg und Stopp: ein überprüftes Ergebnis, eine maximale Schrittzahl, wiederholte Fehler oder ein ausgeschöpftes Budget. Verwenden Sie eingeschränkte Funktionen und minimale Berechtigungen. Nützliche Autonomie bedeutet Freiheit innerhalb der durch Software durchgesetzten Grenzen.
Definieren Sie den Erfolg vor der Optimierung
Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.
Fehler benötigen explizite Pfade
Ein Timeout unterscheidet sich von einem Berechtigungsfehler. Wiederholen Sie nur vorübergehende Fehler mit begrenzten Versuchen und zunehmenden Verzögerungen. Eine Operation mit Nebenwirkungen kann ausgeführt werden, bevor ihre Antwort verloren geht. Ein erneuter Versuch ohne Idempotenzschlüssel kann den Effekt duplizieren. Beim Streaming wird der Fortschritt angezeigt, es kann jedoch nicht garantiert werden, dass der Vorgang abgeschlossen ist. Prüfpunkte ermöglichen möglicherweise die Wiederaufnahme fehlgeschlagener Phasen innerhalb der Laufzeitgrenzen. Speichern Sie die Laufkennung, die Phase, die Dauer und den Fehler, während Sie Geheimnisse aus Protokollen entfernen. Messen Sie sowohl langsame Pfade als auch Durchschnittswerte.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
Wählen Sie einen Agenten oder Workflow aus, senden Sie eine Frage und überprüfen Sie Streaming und Schritte. Überprüfen Sie bei Dateien den Upload. Verwenden Sie in Vergleichen frische Gespräche, damit der Verlauf den Test nicht verändert.
Probieren Sie es selbst aus
- Führen Sie dieselbe Frage mit zwei Konfigurationen aus und notieren Sie die Unterschiede.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Der Bericht enthält Anforderung, Ziel, Schritte und Ergebnis, nicht nur den endgültigen Text. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
Ein Konversationsanhang wird nicht automatisch zu dauerhaften RAG-Daten. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Führt mehr Autonomie immer zu einem besseren Ergebnis?
Nein. Es erhöht auch den Spielraum für Fehler, Kosten und unnötige Maßnahmen.
Beweist eine gute Stilbewertung den Erfolg eines Agenten?
Nein. Der Agent schreibt möglicherweise wunderbar, nachdem er das falsche Tool oder die falschen Daten verwendet hat.
Zu welchem Ergebnis soll diese Übung führen?
Der Bericht enthält Anforderung, Ziel, Schritte und Ergebnis, nicht nur den endgültigen Text.
Wichtige Begriffe
- Agentin: Ein System, das Schritte auswählen und Werkzeuge einsetzen kann, um ein Ziel zu erreichen.
- Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.
- Idempotenz: Kontrollierte Wiederholung ohne Duplizierung eines Effekts.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: U01 – Eine Karte der Anwendung