Zmień rangę RAG: najpierw lepsze dowody

Zmiana rankingu zapewnia bardziej ostrożną selekcję po pobraniu. Pomaga, gdy istnieją dobre dowody, ale ich ocena jest zbyt niska.

Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.

Jak to działa, krok po kroku

Wyszukiwanie i ranking to różne etapy

Funkcja wyszukiwania wybiera kandydatów i porządkuje ich w rankingu. top_k to liczba żądanych wyników; zwiększanie go może przynieść dowody, ale także hałas. Osoba dokonująca rerankingu dokładniej przygląda się zapytaniu i kandydatom. Nie można odzyskać fragmentu brakującego na liście początkowej. BM25 wyszukuje dopasowania leksykalne i pomaga w doborze dokładnych kodów; wyszukiwanie wektorów szuka podobieństwa semantycznego. RRF łączy pozycje na listach rankingowych zamiast dodawać wyniki z niezgodnymi jednostkami. Dodatkowe etapy muszą uzasadniać ich jakość, opóźnienia i koszt poprzez testy.

RAG uzyskuje dostęp do dowodów, a nie przekwalifikowuje

RAG oznacza generowanie wspomagane wyszukiwaniem: wyszukiwanie dostarcza odpowiednich fragmentów, zanim model odpowie. Pozyskiwanie przygotowuje dokumenty, podczas gdy wykonanie zapytania przeszukuje indeks i buduje kontekst. Model osadzania reprezentuje tekst liczbowo; model odpowiedzi zapisuje odpowiedź. Rerankery, wizja, modele graficzne i routery pełnią w razie potrzeby różne role. RAG pomaga w przypadku prywatnych lub zmieniających się informacji, ale nie gwarantuje prawdy. Korzystaj z autoryzowanego API dla sald, dokładnych zapasów lub uprawnień; stary dokument nie jest wiarygodnym źródłem obecnego stanu.

Koszt dotyczy całej ścieżki

Zliczaj wywołania modeli, tokeny wejściowe i wyjściowe, osadzanie, reranking, wizję i narzędzia. Rozumowanie może zużywać płatne tokeny bez równie długiej widocznej odpowiedzi. Koszty indeksowania i koszty rozmów są różne. Używaj aktualnych cen, a nie stałego numeru z kursu. Prosty szacunek to tokeny/1 000 000 × cena plus dodatkowe operacje; Kredyty aplikacyjne mogą mieć własną konwersję. Porównaj koszt udanego zadania, a nie tylko połączenia. Wykonywanie równoległe może zmniejszyć opóźnienia, jednocześnie zwiększając całkowite zużycie. Budżet wymaga zweryfikowanego warunku zatrzymania.

Szczegółowe laboratorium

Interpretuj listy początkowe i końcowe

initial_top_k określa liczbę pobranych kandydatów; final_top_k określa, ile osób pozostanie po zmianie rankingu. Sprawdź wybrany reranker i jego koszt. Tekst dostawy może być semantycznie zbliżony do pytania zwrotnego i nie stanowić odpowiedniego dowodu.

Porównaj przebiegi przy użyciu identycznego modelu korpusu, zapytania i odpowiedzi. Jeśli na obu listach początkowych nie ma odpowiedniego fragmentu, zmiana kolejności nie jest w stanie rozwiązać przyczyny. Jeśli jest obecny i ma wyższą ocenę, sprawdź także ostateczną odpowiedź: lepsza lista nie gwarantuje użycia każdego warunku.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Pobieranie zwraca dowód. Jeśli model odpowiedzi jest włączony, tworzy on również odpowiedź; odzyskane dowody nadal wymagają sprawdzenia. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Polityka powrotów to ósmy kandydat. initial_top_k=15 zawiera to; final_top_k=5 przechowuje najbardziej odpowiednie, przeklasyfikowane fragmenty. Przy zaledwie czterech początkowych kandydatach byłaby nieobecna.

template: Rerank
initial_top_k: 15
final_top_k: 5

Spróbuj sam

1. Skonfiguruj narzędzie rerankingu, initial_top_k=15 i final_top_k=5 jako eksperyment, a nie ustawienia uniwersalne.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Uwzględniono prawidłowe dowody i są one lepiej uporządkowane; porównaj jakość i koszt z Naive. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Ponowne rankingowanie nie może naprawić niezindeksowanych lub nieautoryzowanych źródeł. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy osoba zajmująca się rerankingiem może naprawić niezindeksowany dokument?

Nie. Fragment musi najpierw znajdować się w indeksie i na liście kandydackiej.

Czy RAG zmienia parametry LLM?

Nie. Dostarcza kontekst w czasie żądania; zmiany parametrów należą do szkolenia.

Jaki wynik powinno dać to ćwiczenie?

Uwzględniono prawidłowe dowody i są one lepiej uporządkowane; porównaj jakość i koszt z Naive.

Pojęcia do zapamiętania

• Zmień rangę: Bardziej ostrożna zmiana kolejności już pobranych kandydatów.
• Wyszukiwanie: Znajdowanie odpowiednich informacji w dostępnych źródłach.
• Latență / Opóźnienie: Czas do użytecznego wyniku.

Źródła i następny krok

• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• OpenRouter — tokeny rozumowania

Aby przygotować: R03 — Naiwny RAG: Twój poziom wyjściowy