Rozmowy i opinie
Rozmowy pokazują, gdzie system pomaga, a gdzie zawodzi.
Czego się dowiesz
- Wyjaśnij: zdefiniuj sukces przed optymalizacją
- Zastosuj pomysł na przykładzie: Rozmowy i opinie
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Rozmowy pokazują, gdzie system pomaga, a gdzie zawodzi. Zamień informację zwrotną w przyczynę i test.
Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.
Jak to działa, krok po kroku
Zdefiniuj sukces przed optymalizacją
Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.
Płynność i prawdziwość sprawdzane są oddzielnie
Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.
Błędy wymagają wyraźnych ścieżek
Limit czasu różni się od błędu uprawnień. Ponawiaj tylko błędy przejściowe, z ograniczonymi próbami i rosnącymi opóźnieniami. Operacja powodująca skutki uboczne może zostać wykonana przed utratą odpowiedzi; ponowna próba bez klucza idempotencji może zduplikować efekt. Przesyłanie strumieniowe pokazuje postęp, ale nie gwarantuje ukończenia. Punkty kontrolne mogą pozwolić na wznowienie nieudanych etapów w ramach limitów czasu wykonania. Przechowuj identyfikator przebiegu, etap, czas trwania i błąd podczas usuwania wpisów tajnych z dzienników. Mierz wolne ścieżki i średnie.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
„Nieprzydatna odpowiedź” może oznaczać zły termin, techniczny język lub niedostępne narzędzie. Przeczytaj rozmowę, zidentyfikuj przyczynę i dodaj przypadek regresji.
Spróbuj sam
- Przejrzyj dziesięć fikcyjnych rozmów i niepowodzeń grupowych według przyczyny.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Każda obserwacja ma przyczynę, proponowaną zmianę i kontrolę następczą. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Pozytywna opinia nie jest gwarantowaną etykietą prawdy. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy dobry wynik za styl świadczy o sukcesie agenta?
Nie. Agent może pięknie pisać, jeśli użyje niewłaściwego narzędzia lub danych.
Czy link w odpowiedzi wystarczy?
NIE; musi uzasadniać konkretne roszczenie oraz pasować do czasu i okoliczności.
Jaki wynik powinno dać to ćwiczenie?
Każda obserwacja ma przyczynę, proponowaną zmianę i kontrolę następczą.
Pojęcia do zapamiętania
- Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
- Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.
- Idempotencja: Kontrolowane powtarzanie bez powielania efektu.
Źródła i następny krok
Aby przygotować: U03 — Zatrzymaj, wznów i uruchom ponownie