So messen Sie, ob KI nützlich ist
Der Nutzen wird an den Benutzerergebnissen gemessen.
Was Sie lernen werden
- Erklären Sie: Definieren Sie den Erfolg, bevor Sie optimieren
- Wenden Sie die Idee an einem Beispiel an: So messen Sie, ob KI nützlich ist
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Der Nutzen wird an den Benutzerergebnissen gemessen. Definieren Sie Kriterien, bevor Sie Antworten sehen, anstatt die Regeln im Nachhinein zu ändern.
Sie können diesen Kurs ohne Konto oder Programmierung absolvieren. Beispiele verwenden synthetische Daten und KI-Ergebnisse müssen überprüft werden.
Wie es funktioniert, Schritt für Schritt
Definieren Sie den Erfolg vor der Optimierung
Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.
Geläufigkeit und Wahrheit werden getrennt geprüft
Eine Halluzination ist ein nicht unterstützter oder falscher Inhalt, der als Antwort präsentiert wird. Es kann durch fehlende Informationen, Unklarheiten oder falsch kombinierte Muster entstehen. Fordern Sie Belege an und überprüfen Sie Originaldokument, Datum, Einheiten und Bedingungen. Ein echtes Zitat kann die Behauptung möglicherweise immer noch nicht stützen. Verwenden Sie aktuelle Quellen für aktuelle Fakten, einen Taschenrechner für die Arithmetik und „kann nicht feststellen“, wann Beweise fehlen. Behandeln Sie das in Prosa zum Ausdruck gebrachte Vertrauen nicht als kalibrierte Wahrscheinlichkeit.
Die Kosten gehören zum gesamten Pfad
Zählen Sie Modellaufrufe, Eingabe- und Ausgabetokens, Einbettungen, Neurankings, Visionen und Tools. Reasoning kann abrechenbare Token verbrauchen, ohne dass eine ebenso lange sichtbare Antwort erfolgt. Indexierungskosten und Gesprächskosten unterscheiden sich. Verwenden Sie aktuelle Preise anstelle einer dauerhaften Kursnummer. Eine einfache Schätzung ist Token/1.000.000 × Preis plus zusätzliche Operationen; Bewerbungsguthaben können eine eigene Umrechnung haben. Vergleichen Sie die Kosten pro erfolgreicher Aufgabe, nicht nur pro Anruf. Die parallele Ausführung kann die Latenz reduzieren und gleichzeitig den Gesamtverbrauch erhöhen. Ein Budget benötigt eine überprüfte Stoppbedingung.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
Für die FAQ-Bewertung gelten die korrekte Frist, die Einhaltung der Bedingungen, die Klarheit und das Fehlen erfundener Ansprüche. Elegante Prosa mit einer falschen Frist erfüllt das kritische Kriterium nicht.
Probieren Sie es selbst aus
- Erstellen Sie eine Rubrik für 20 Anfragen und geben Sie an, welche Fehler den Start blockieren.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Die Rubrik trennt erforderliche Kriterien von Stilpräferenzen und ermöglicht wiederholbare Vergleiche. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
Ein Durchschnitt kann einen seltenen, aber wichtigen Fehler verbergen. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Beweist eine gute Stilbewertung den Erfolg eines Agenten?
Nein. Der Agent schreibt möglicherweise wunderbar, nachdem er das falsche Tool oder die falschen Daten verwendet hat.
Reicht ein Link in einer Antwort?
NEIN; Es muss den konkreten Anspruch stützen und zur Zeit und den Umständen passen.
Zu welchem Ergebnis soll diese Übung führen?
Die Rubrik trennt erforderliche Kriterien von Stilpräferenzen und ermöglicht wiederholbare Vergleiche.
Wichtige Begriffe
- Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.
- Erdung: Eine Antwort auf nachprüfbare Beweise stützen.
- Latenz / Latenz: Zeit bis zu einem brauchbaren Ergebnis.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: U02 – Spielplatz als Labor · D04 – Gute Fragen zum Testen von RAG