Optymalizacja i operacje
Zoptymalizuj zaobserwowaną potrzebę: opóźnienia, koszty lub awarie.
Czego się dowiesz
- Wyjaśnij: błędy wymagają wyraźnych ścieżek
- Zastosuj pomysł na przykładzie: Optymalizacja i operacje
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Zoptymalizuj zaobserwowaną potrzebę: opóźnienia, koszty lub awarie. Bardziej skomplikowane konfiguracje nie są automatycznie bardziej niezawodne.
Jest to laboratorium koncepcyjne lub zewnętrzne. Nie zakłada się, że aplikacja udostępnia wszystkie opisane elementy sterujące.
Jak to działa, krok po kroku
Błędy wymagają wyraźnych ścieżek
Limit czasu różni się od błędu uprawnień. Ponawiaj tylko błędy przejściowe, z ograniczonymi próbami i rosnącymi opóźnieniami. Operacja powodująca skutki uboczne może zostać wykonana przed utratą odpowiedzi; ponowna próba bez klucza idempotencji może zduplikować efekt. Przesyłanie strumieniowe pokazuje postęp, ale nie gwarantuje ukończenia. Punkty kontrolne mogą pozwolić na wznowienie nieudanych etapów w ramach limitów czasu wykonania. Przechowuj identyfikator przebiegu, etap, czas trwania i błąd podczas usuwania wpisów tajnych z dzienników. Mierz wolne ścieżki i średnie.
Koszt dotyczy całej ścieżki
Zliczaj wywołania modeli, tokeny wejściowe i wyjściowe, osadzanie, reranking, wizję i narzędzia. Rozumowanie może zużywać płatne tokeny bez równie długiej widocznej odpowiedzi. Koszty indeksowania i koszty rozmów są różne. Używaj aktualnych cen, a nie stałego numeru z kursu. Prosty szacunek to tokeny/1 000 000 × cena plus dodatkowe operacje; Kredyty aplikacyjne mogą mieć własną konwersję. Porównaj koszt udanego zadania, a nie tylko połączenia. Wykonywanie równoległe może zmniejszyć opóźnienia, jednocześnie zwiększając całkowite zużycie. Budżet wymaga zweryfikowanego warunku zatrzymania.
Zdefiniuj sukces przed optymalizacją
Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Pamięć podręczna zasad może zmniejszyć opóźnienia, ale żywy inwentarz wymaga szybkiego wygaśnięcia. Ponowienie próby pomaga w przejściowym przekroczeniu limitu czasu, a nie w przypadku nieprawidłowego klucza. Rezerwa musi zachować warunki i dostęp.
Spróbuj sam
- Zaprojektuj ograniczoną ponowną próbę, wygaśnięcie pamięci podręcznej i koncepcyjny powrót awaryjny.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Zmierz przed i po, uwzględnij awarie i sprawdź regresje. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Nie zakładaj, że produkt udostępnia wszystkie te opcje w swoim interfejsie. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy przekroczenie limitu czasu oznacza, że operacja nie została wykonana?
Nie. Sprawdź stan przed ponowną próbą działania ze skutkami ubocznymi.
Czy więcej jednoczesnych połączeń jest automatycznie tańszych?
Nie. Czas, który upłynął i całkowite zużycie to różne wielkości.
Jaki wynik powinno dać to ćwiczenie?
Zmierz przed i po, uwzględnij awarie i sprawdź regresje.
Pojęcia do zapamiętania
- Idempotencja: Kontrolowane powtarzanie bez powielania efektu.
- Latență / Opóźnienie: Czas do użytecznego wyniku.
- Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
Źródła i następny krok
Aby przygotować: E05 — Tokeny, kredyty, budżety i całkowity koszt