Plac zabaw jako laboratorium

Plac zabaw sprawia, że ​​etapy rozmowy są widoczne. Używaj go do kontrolowanych porównań, a nie tylko udanych demonstracji.

Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.

Jak to działa, krok po kroku

Ograniczona pętla agenta

Agent łączy model z narzędziami, celem i stanem. Obserwuje żądanie, wybiera krok, otrzymuje wynik i decyduje, czy kontynuować. Chatbot może generować jedynie tekst; agent może zażądać działania zewnętrznego. Definicje komercyjne są różne, dlatego sprawdź rzeczywistą kontrolę. Zdefiniuj sukces i zatrzymanie: zweryfikowany wynik, maksymalną liczbę kroków, powtarzające się błędy lub wyczerpany budżet. Korzystaj z wąskich możliwości i minimalnych uprawnień. Użyteczna autonomia oznacza wolność w granicach narzuconych przez oprogramowanie.

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Błędy wymagają wyraźnych ścieżek

Limit czasu różni się od błędu uprawnień. Ponawiaj tylko błędy przejściowe, z ograniczonymi próbami i rosnącymi opóźnieniami. Operacja powodująca skutki uboczne może zostać wykonana przed utratą odpowiedzi; ponowna próba bez klucza idempotencji może zduplikować efekt. Przesyłanie strumieniowe pokazuje postęp, ale nie gwarantuje ukończenia. Punkty kontrolne mogą pozwolić na wznowienie nieudanych etapów w ramach limitów czasu wykonania. Przechowuj identyfikator przebiegu, etap, czas trwania i błąd podczas usuwania wpisów tajnych z dzienników. Mierz wolne ścieżki i średnie.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Wybierz agenta lub przepływ pracy, prześlij pytanie i sprawdź transmisję i kroki. W przypadku plików sprawdź przesyłanie. Do porównań używaj świeżych rozmów, aby historia nie zmieniła testu.

Spróbuj sam

1. Uruchom to samo pytanie z dwiema konfiguracjami i zapisz różnice.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Raport zawiera żądanie, cel, kroki i wynik, a nie tylko tekst końcowy. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Załącznik do rozmowy nie staje się automatycznie trwałymi danymi RAG. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy większa autonomia zawsze daje lepszy wynik?

Nie. Zwiększa także przestrzeń na błędy, koszty i niepotrzebne działania.

Czy dobry wynik za styl świadczy o sukcesie agenta?

Nie. Agent może pięknie pisać, jeśli użyje niewłaściwego narzędzia lub danych.

Jaki wynik powinno dać to ćwiczenie?

Raport zawiera żądanie, cel, kroki i wynik, a nie tylko tekst końcowy.

Pojęcia do zapamiętania

• Agent: System, który może wybierać kroki i używać narzędzi do osiągnięcia celu.
• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
• Idempotencja: Kontrolowane powtarzanie bez powielania efektu.

Źródła i następny krok

• LangGraph — Przepływy pracy i agenci

Aby przygotować: U01 — Mapa aplikacji