Tokeny, kredyty, budżety i całkowity koszt
Cena połączenia nie jest kosztem całego zadania.
Czego się dowiesz
- Wyjaśnij: koszt dotyczy całej ścieżki
- Zastosuj pomysł na przykładzie: tokeny, kredyty, budżety i całkowity koszt
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Cena połączenia nie jest kosztem całego zadania. Licz osobno indeksowanie, konwersację i narzędzia.
Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.
Jak to działa, krok po kroku
Koszt dotyczy całej ścieżki
Zliczaj wywołania modeli, tokeny wejściowe i wyjściowe, osadzanie, reranking, wizję i narzędzia. Rozumowanie może zużywać płatne tokeny bez równie długiej widocznej odpowiedzi. Koszty indeksowania i koszty rozmów są różne. Używaj aktualnych cen, a nie stałego numeru z kursu. Prosty szacunek to tokeny/1 000 000 × cena plus dodatkowe operacje; Kredyty aplikacyjne mogą mieć własną konwersję. Porównaj koszt udanego zadania, a nie tylko połączenia. Wykonywanie równoległe może zmniejszyć opóźnienia, jednocześnie zwiększając całkowite zużycie. Budżet wymaga zweryfikowanego warunku zatrzymania.
Wybierz według zadania i możliwości
Sprawdź język, kontekst, wywoływanie narzędzi, uporządkowane dane wyjściowe i obsługiwane sposoby wprowadzania danych. Porównuj modele w przypadku identycznych żądań, korzystając z tej samej kategorii i realistycznego budżetu. Temperatura zmienia próbkowanie, a nie prawdę. Rozumowanie przydziela wysiłek zgodnym modelom, co może wydłużyć czas i zwiększyć koszty; akceptowane wartości są różne. Modele lokalne oferują kontrolę nad infrastrukturą, ale wymagają zasobów i konserwacji. Ciężary otwarte nie gwarantują nieograniczonej licencji ani pełnego kodu treningowego. Katalogi i ceny ulegają zmianie; przeczytaj aktualną kartę modelu.
Zdefiniuj sukces przed optymalizacją
Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Przy zastosowaniu fikcyjnych cen wynoszących 2 na milion nakładów i 10 wyników, 10 000 nakładów i 1000 wyników kosztuje 0,03 jednostki pieniężnej przed narzędziami. Są to wartości ćwiczeń, a nie ceny bieżące.
Spróbuj sam
- Oszacuj trzy wywołania i jeden przebieg indeksowania, a następnie koszt pomyślnie zakończonego zadania.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Oblicz 0,02 + 0,01 i osobno dodaj dodatkowe zużycie; porównać z rzeczywistym wykorzystaniem w organizacji. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Kredyty aplikacji i waluta dostawcy mogą mieć różne przeliczenia. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy więcej jednoczesnych połączeń jest automatycznie tańszych?
Nie. Czas, który upłynął i całkowite zużycie to różne wielkości.
Czy temperatura zerowa gwarantuje poprawność?
Nie. Może to zmniejszyć zmienność, ale stabilna odpowiedź nadal może być błędna.
Jaki wynik powinno dać to ćwiczenie?
Oblicz 0,02 + 0,01 i osobno dodaj dodatkowe zużycie; porównać z rzeczywistym wykorzystaniem w organizacji.
Pojęcia do zapamiętania
- Latență / Opóźnienie: Czas do użytecznego wyniku.
- Rozumny wysiłek: Ustawienie zależne od modelu kontrolujące wysiłek rozumowania.
- Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
Źródła i następny krok
Aby przygotować: E04 — Obserwowalność i debugowanie