Obserwowalność i debugowanie
Obserwowalność łączy wyniki z etapami, które je prowadzą.
Czego się dowiesz
- Wyjaśnij: błędy wymagają wyraźnych ścieżek
- Zastosuj ten pomysł na przykładzie: Obserwowalność i debugowanie
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Obserwowalność łączy wyniki z etapami, które je prowadzą. Dane diagnostyczne powinny pomóc bez ujawniania tajemnic.
Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.
Jak to działa, krok po kroku
Błędy wymagają wyraźnych ścieżek
Limit czasu różni się od błędu uprawnień. Ponawiaj tylko błędy przejściowe, z ograniczonymi próbami i rosnącymi opóźnieniami. Operacja powodująca skutki uboczne może zostać wykonana przed utratą odpowiedzi; ponowna próba bez klucza idempotencji może zduplikować efekt. Przesyłanie strumieniowe pokazuje postęp, ale nie gwarantuje ukończenia. Punkty kontrolne mogą pozwolić na wznowienie nieudanych etapów w ramach limitów czasu wykonania. Przechowuj identyfikator przebiegu, etap, czas trwania i błąd podczas usuwania wpisów tajnych z dzienników. Mierz wolne ścieżki i średnie.
Zdefiniuj sukces przed optymalizacją
Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.
Przed użyciem sprawdź dostęp
Uprawnienia muszą być egzekwowane przez serwery i warstwę danych. Nie pozwól, aby model decydował o tym, czy użytkownik może zobaczyć dokument. Filtruj źródła zanim wejdą w kontekst, a nie po wygenerowaniu odpowiedzi. Używaj poświadczeń o minimalnym dostępie, trzymaj je z dala od monitów, zrzutów ekranu i kodu przeglądarki oraz obracaj odsłonięte klucze. Lista dozwolonych domen widżetów nie zastępuje uwierzytelniania API. Uwierzytelnienie identyfikuje Cię; autoryzacja określa operacje i dane, których możesz użyć. Test również odmówił dostępu.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Powolna reakcja obejmuje pobieranie 0,2 s, zmianę rangi 0,4 s i narzędzie zewnętrzne 8 s. Identyfikator przebiegu łączy etapy; rejestrowane są wersje podpowiedzi i modelu.
Spróbuj sam
- Stwórz oś czasu zawierającą etap, czas trwania, wynik i identyfikator przebiegu.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Zidentyfikuj narzędzie jako źródło opóźnień i zachowaj kontekst błędu bez poświadczeń. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Zakłada się, że zewnętrzne narzędzia do śledzenia nie stanowią kontroli interfejsu użytkownika. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy przekroczenie limitu czasu oznacza, że operacja nie została wykonana?
Nie. Sprawdź stan przed ponowną próbą działania ze skutkami ubocznymi.
Czy dobry wynik za styl świadczy o sukcesie agenta?
Nie. Agent może pięknie pisać, jeśli użyje niewłaściwego narzędzia lub danych.
Jaki wynik powinno dać to ćwiczenie?
Zidentyfikuj narzędzie jako źródło opóźnień i zachowaj kontekst błędu bez poświadczeń.
Pojęcia do zapamiętania
- Idempotencja: Kontrolowane powtarzanie bez powielania efektu.
- Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
- Autoryzacja / Autoryzacja: Sprawdzanie prawa dostępu do operacji lub zasobu.
Źródła i następny krok
Aby przygotować: E03 — Ocena agentów i zespołów