Ocena RAG etap po etapie

Oddziel uzyskane dowody od sposobu, w jaki model je wykorzystuje. W przeciwnym razie możesz zoptymalizować niewłaściwy etap.

Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.

Jak to działa, krok po kroku

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Wyszukiwanie i ranking to różne etapy

Funkcja wyszukiwania wybiera kandydatów i porządkuje ich w rankingu. top_k to liczba żądanych wyników; zwiększanie go może przynieść dowody, ale także hałas. Osoba dokonująca rerankingu dokładniej przygląda się zapytaniu i kandydatom. Nie można odzyskać fragmentu brakującego na liście początkowej. BM25 wyszukuje dopasowania leksykalne i pomaga w doborze dokładnych kodów; wyszukiwanie wektorów szuka podobieństwa semantycznego. RRF łączy pozycje na listach rankingowych zamiast dodawać wyniki z niezgodnymi jednostkami. Dodatkowe etapy muszą uzasadniać ich jakość, opóźnienia i koszt poprzez testy.

Płynność i prawdziwość sprawdzane są oddzielnie

Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Znajdź jeden z dwóch odpowiednich fragmentów w czterech wynikach: przywołanie=1/2 i precyzja=1/4 w tym przypadku. Odpowiedź może nadal pomijać warunek z pobranego fragmentu.

Spróbuj sam

1. Oznacz odpowiednie fragmenty pięciu pytań i porównaj wyszukiwanie z generowaniem.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Odrębnie zgłaszaj zakres dowodów, istotność wyników i poparcie dla roszczenia końcowego. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Wysoki wynik wektorowy nie zastępuje oznaczenia trafności. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy dobry wynik za styl świadczy o sukcesie agenta?

Nie. Agent może pięknie pisać, jeśli użyje niewłaściwego narzędzia lub danych.

Czy osoba zajmująca się rerankingiem może naprawić niezindeksowany dokument?

Nie. Fragment musi najpierw znajdować się w indeksie i na liście kandydackiej.

Jaki wynik powinno dać to ćwiczenie?

Odrębnie zgłaszaj zakres dowodów, istotność wyników i poparcie dla roszczenia końcowego.

Pojęcia do zapamiętania

• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
• Zmień rangę: Bardziej ostrożna zmiana kolejności już pobranych kandydatów.
• Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.

Źródła i następny krok

• LangGraph — Przepływy pracy i agenci
• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• Hugging Face — kurs LLM

Aby przygotować: E01 — Jak zmierzyć przydatność sztucznej inteligencji