Optimierung und Betrieb
Optimieren Sie einen beobachteten Bedarf: Latenz, Kosten oder Ausfälle.
Was Sie lernen werden
- Erklären Sie: Fehler benötigen explizite Pfade
- Wenden Sie die Idee in einem Beispiel an: Optimierung und Betrieb
- Erkennen Sie Einschränkungen und überprüfen Sie das Übungsergebnis
Optimieren Sie einen beobachteten Bedarf: Latenz, Kosten oder Ausfälle. Kompliziertere Konfigurationen sind nicht automatisch robuster.
Dies ist ein konzeptionelles oder externes Labor. Es wird nicht davon ausgegangen, dass die Anwendung alle beschriebenen Steuerelemente verfügbar macht.
Wie es funktioniert, Schritt für Schritt
Fehler benötigen explizite Pfade
Ein Timeout unterscheidet sich von einem Berechtigungsfehler. Wiederholen Sie nur vorübergehende Fehler mit begrenzten Versuchen und zunehmenden Verzögerungen. Eine Operation mit Nebenwirkungen kann ausgeführt werden, bevor ihre Antwort verloren geht. Ein erneuter Versuch ohne Idempotenzschlüssel kann den Effekt duplizieren. Beim Streaming wird der Fortschritt angezeigt, es kann jedoch nicht garantiert werden, dass der Vorgang abgeschlossen ist. Prüfpunkte ermöglichen möglicherweise die Wiederaufnahme fehlgeschlagener Phasen innerhalb der Laufzeitgrenzen. Speichern Sie die Laufkennung, die Phase, die Dauer und den Fehler, während Sie Geheimnisse aus Protokollen entfernen. Messen Sie sowohl langsame Pfade als auch Durchschnittswerte.
Die Kosten gehören zum gesamten Pfad
Zählen Sie Modellaufrufe, Eingabe- und Ausgabetokens, Einbettungen, Neurankings, Visionen und Tools. Reasoning kann abrechenbare Token verbrauchen, ohne dass eine ebenso lange sichtbare Antwort erfolgt. Indexierungskosten und Gesprächskosten unterscheiden sich. Verwenden Sie aktuelle Preise anstelle einer dauerhaften Kursnummer. Eine einfache Schätzung ist Token/1.000.000 × Preis plus zusätzliche Operationen; Bewerbungsguthaben können eine eigene Umrechnung haben. Vergleichen Sie die Kosten pro erfolgreicher Aufgabe, nicht nur pro Anruf. Die parallele Ausführung kann die Latenz reduzieren und gleichzeitig den Gesamtverbrauch erhöhen. Ein Budget benötigt eine überprüfte Stoppbedingung.
Definieren Sie den Erfolg vor der Optimierung
Bereiten Sie repräsentative Anfragen und erwartete Antworten oder Eigenschaften vor. Berücksichtigen Sie normale Fälle, Unklarheiten, fehlende Daten und Toolfehler. Messen Sie für RAG die Beweisgewinnung getrennt von der Antwortkorrektheit. Recall@k misst den Anteil relevanter Beweise, die in den ersten k Ergebnissen gefunden wurden; precision@k misst den Anteil der zurückgegebenen Ergebnisse, die relevant sind. Verfolgen Sie für Agenten auch Aktionen, Berechtigungen und Stopps. Ein LLM als Richter kann die Bewertung beschleunigen, muss jedoch mit Menschen verglichen werden. Ändern Sie Eingabeaufforderung, Modell und Index nicht gleichzeitig, wenn Sie verstehen möchten, was zu verbesserten Ergebnissen führt.
Das erklärende Schaubild
Folgen Sie den durchgezogenen Pfeilen für den Hauptfluss. Gestrichelte blaue Pfeile liefern Daten oder Kontext; Gestrichelte rosa Pfeile zeigen Feedback oder zurückgegebene Ergebnisse an. Farben und Formen unterscheiden Modelle, Geschäfte, Entscheidungen und Ergebnisse. Scrollen Sie auf kleinen Bildschirmen horizontal, um das gesamte Schaubild zu verfolgen.
Ein vollständiges Beispiel
Ein Richtlinien-Cache kann die Latenz reduzieren, aber der Bestand an lebenden Tieren muss schnell ablaufen. Ein erneuter Versuch hilft bei einer vorübergehenden Zeitüberschreitung, nicht bei einem ungültigen Schlüssel. Beim Fallback müssen Bedingungen und Zugriff erhalten bleiben.
Probieren Sie es selbst aus
- Entwerfen Sie einen begrenzten Wiederholungsversuch, einen Cache-Ablauf und einen konzeptionellen Fallback.
- Notieren Sie die Eingabe, die Quelle und das erwartete Ergebnis, bevor Sie das Experiment durchführen. Verwenden Sie im Beispiel nur die fiktiven Daten.
- Folgen Sie den Diagrammschritten. Notieren Sie bei jedem Schritt, welche Informationen empfangen und produziert werden. Verwechseln Sie Zwischenergebnisse nicht mit Endergebnissen.
- Wiederholen Sie den Vorgang, nachdem Sie erforderliche Informationen entfernt oder die Eingabe mehrdeutig gemacht haben. Prüfen Sie, ob das System eine Antwort klärt, stoppt oder erfindet.
- Vergleichen Sie mit der erklärten Lösung. Bewahren Sie die Konfiguration, das Datum, das Ergebnis und eine Erklärung für Unterschiede auf. Ändern Sie eine Sache und testen Sie es erneut.
Eine erklärte Lösung
Vorher und nachher messen, Ausfälle einbeziehen und auf Rückschritte prüfen. Mit einer erfolgreichen Übung können Sie den Zusammenhang zwischen Input, Phasen und Ergebnis aufzeigen. Bei fehlenden Informationen ist eine vorsichtige Antwort sinnvoller als erfundene Details. Vergleichen Sie mehr als nur Stil: Überprüfen Sie auch Bedingungen, Quellen und Vorgänge.
Wann dieser Ansatz hilft und wo seine Grenzen liegen
Gehen Sie nicht davon aus, dass das Produkt alle diese Optionen in seiner Benutzeroberfläche bereitstellt. Wählen Sie diesen Ansatz, wenn er einen gemessenen Bedarf verbessert. Behalten Sie eine einfache Ausgangsbasis bei und vergleichen Sie die Ergebnisse mit identischen Eingaben. Ein erfolgreiches Beispiel stellt nicht in jeder Situation Verlässlichkeit dar.
Überprüfen Sie Ihr Wissen
Beweist ein Timeout, dass der Vorgang nicht ausgeführt wurde?
Nein. Überprüfen Sie den Status, bevor Sie eine Aktion mit Nebenwirkungen wiederholen.
Sind mehr gleichzeitige Anrufe automatisch günstiger?
Nein. Verstrichene Zeit und Gesamtverbrauch sind unterschiedliche Größen.
Zu welchem Ergebnis soll diese Übung führen?
Vorher und nachher messen, Ausfälle einbeziehen und auf Rückschritte prüfen.
Wichtige Begriffe
- Idempotenz: Kontrollierte Wiederholung ohne Duplizierung eines Effekts.
- Latenz / Latenz: Zeit bis zu einem brauchbaren Ergebnis.
- Regresie / Regression: Eine Änderung, die einen zuvor korrekten Fall aufhebt.
Quellen und Ihr nächster Schritt
Zur Vorbereitung: E05 – Token, Credits, Budgets und Gesamtkosten