Bewertung von Agenten und Teams
Ein Agent kann nach einer falschen Aktion eine gute Antwort schreiben.
Was Sie lernen werden
- Erklären Sie: Definieren Sie den Erfolg, bevor Sie optimieren
- Wenden Sie die Idee in einem Beispiel an: Bewertung von Agenten und Teams
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Ein Agent kann nach einer falschen Aktion eine gute Antwort schreiben. Bewerten Sie den gesamten Pfad.
Sie können diesen Kurs ohne Konto oder Programmierung absolvieren. Beispiele verwenden synthetische Daten und KI-Ergebnisse müssen überprüft werden.
Wie es funktioniert, Schritt für Schritt
Definieren Sie den Erfolg vor der Optimierung
Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.
Das Modell schlägt vor, das Werkzeug führt aus
Der Tool-Aufruf erzeugt eine Aufrufanforderung mit einem Namen und Argumenten. Die Anwendung validiert das Schema, die Berechtigungen und die Beschränkungen vor der Ausführung. Das Ergebnis kehrt für den nächsten Schritt in den Kontext zurück. Beispielsweise nimmt get_product_stock eine SKU und gibt eine Menge zurück; In der Beschreibung sollte erläutert werden, dass keine Produkte reserviert werden. Unterscheiden Sie zwischen leeren Ergebnissen, Validierungsfehlern, fehlendem Zugriff und Zeitüberschreitungen. Gültiges JSON beweist nicht, dass die Argumente korrekt sind oder die Aktion autorisiert ist. Denken Sie bei externen Effekten auch an eine doppelte Ausführung.
Ein Workflow hat eine explizite Struktur
Ein Knoten ist eine Stufe, eine Kante ist ein Übergang und ein Zustand überträgt Ergebnisse zwischen Stufen. Ein Workflow hat einen anwendungsdefinierten Pfad, obwohl das Modell möglicherweise einige Zweige auswählt. Agentensysteme umfassen sowohl Workflows als auch dynamisch agierende Agenten. Nymrio bietet ReAct, Reflection, Sequential, Orchestrator, Router, Parallel und Plan-and-Execute. Jeder ändert die Koordination; Es macht ein Modell nicht automatisch zum Experten. Mehr Agenten bedeuten mehr Anrufe und Verträge zwischen den Rollen. Beginnen Sie mit der einfachsten Lösung, die Ihre Tests besteht.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
Ein Agent meldet die richtige Menge, hat aber eine andere SKU abgefragt. Ein Team zitiert die Richtlinie, lässt aber die Meinungsverschiedenheiten der Arbeitnehmer aus. Beide sind trotz überzeugendem Endtext gescheitert.
Probieren Sie es selbst aus
- Vergleichen Sie zwei Spuren und markieren Sie die erste Abweichung vom Ziel.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Überprüfen Sie Argumente, Rollen, Operationen, Quellen und Stopps sowie die Textqualität. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
LLM-als-Richter können voreingenommen sein und erfordern eine menschliche Kalibrierung. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Beweist eine gute Stilbewertung den Erfolg eines Agenten?
Nein. Der Agent schreibt möglicherweise wunderbar, nachdem er das falsche Tool oder die falschen Daten verwendet hat.
Wer führt einen vom Modell vorgeschlagenen Aufruf aus?
Die Anwendung oder der Hostdienst nach der Validierung. Das Modell erhält nicht automatisch uneingeschränkten Zugriff.
Zu welchem Ergebnis soll diese Übung führen?
Überprüfen Sie Argumente, Rollen, Operationen, Quellen und Stopps sowie die Textqualität.
Wichtige Begriffe
- Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.
- Werkzeugaufruf: Eine strukturierte Anfrage zur Nutzung einer externen Funktion.
- Nicken: Eine Phase in einem Ausführungsdiagramm.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: E02 – RAG Schritt für Schritt bewerten