Ocena agentów i zespołów

Agent może napisać dobrą odpowiedź po złym działaniu. Oceń całą ścieżkę.

Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.

Jak to działa, krok po kroku

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Model proponuje, narzędzie wykonuje

Wywołanie narzędzia generuje żądanie wywołania z nazwą i argumentami. Aplikacja przed wykonaniem sprawdza schemat, uprawnienia i limity. Wynik powraca do kontekstu dla następnego kroku. Na przykład get_product_stock pobiera SKU i zwraca ilość; w jego opisie powinno być wyjaśnione, że nie rezerwuje produktów. Rozróżnij puste wyniki, błędy walidacji, brak dostępu i przekroczenia limitu czasu. Prawidłowy kod JSON nie dowodzi, że argumenty są poprawne lub że akcja jest autoryzowana. W przypadku efektów zewnętrznych należy również rozważyć wykonanie podwójne.

Przepływ pracy ma wyraźną strukturę

Węzeł jest etapem, krawędź jest przejściem, a stan przenosi wyniki pomiędzy etapami. Przepływ pracy ma ścieżkę zdefiniowaną przez aplikację, chociaż model może wybierać niektóre gałęzie. Systemy agentowe obejmują zarówno przepływy pracy, jak i dynamicznie działających agentów. Nymrio oferuje rozwiązania ReAct, Reflection, Sequential, Orchestrator, Router, Parallel oraz Plan-and-Execute. Każdy zmienia koordynację; nie czyni to automatycznie modelu ekspertem. Więcej agentów oznacza więcej rozmów i umów między rolami. Zacznij od najprostszego rozwiązania, które przejdzie Twoje testy.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Agent zgłosił właściwą ilość, ale zapytał o inny SKU. Zespół powołuje się na politykę, ale pomija sprzeciw pracowników. Obydwa są porażkami pomimo przekonującego tekstu końcowego.

Spróbuj sam

1. Porównaj dwa ślady i zaznacz pierwsze odchylenie od celu.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Sprawdź argumenty, role, operacje, źródła i zatrzymanie, a następnie jakość tekstu. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

LLM-jako sędzia może być stronniczy i wymaga ludzkiej kalibracji. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy dobry wynik za styl świadczy o sukcesie agenta?

Nie. Agent może pięknie pisać, jeśli użyje niewłaściwego narzędzia lub danych.

Kto realizuje połączenie zaproponowane przez modelkę?

Aplikacja lub usługa hosta po sprawdzeniu poprawności. Model nie uzyskuje automatycznie nieograniczonego dostępu.

Jaki wynik powinno dać to ćwiczenie?

Sprawdź argumenty, role, operacje, źródła i zatrzymanie, a następnie jakość tekstu.

Pojęcia do zapamiętania

• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
• Wywołanie narzędzia: Ustrukturyzowane żądanie użycia możliwości zewnętrznej.
• Ukłon: Etap na wykresie wykonania.

Źródła i następny krok

• LangGraph — Przepływy pracy i agenci

Aby przygotować: E02 — Ocena RAG etap po etapie