Hybrid RAG: znaczenie i dokładne słowa

Hybryda łączy wyszukiwanie semantyczne i leksykalne. Pomaga w zapytaniach łączących dokładne identyfikatory i opisy w języku naturalnym.

Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.

Jak to działa, krok po kroku

Wyszukiwanie i ranking to różne etapy

Funkcja wyszukiwania wybiera kandydatów i porządkuje ich w rankingu. top_k to liczba żądanych wyników; zwiększanie go może przynieść dowody, ale także hałas. Osoba dokonująca rerankingu dokładniej przygląda się zapytaniu i kandydatom. Nie można odzyskać fragmentu brakującego na liście początkowej. BM25 wyszukuje dopasowania leksykalne i pomaga w doborze dokładnych kodów; wyszukiwanie wektorów szuka podobieństwa semantycznego. RRF łączy pozycje na listach rankingowych zamiast dodawać wyniki z niezgodnymi jednostkami. Dodatkowe etapy muszą uzasadniać ich jakość, opóźnienia i koszt poprzez testy.

Współrzędne dla znaczenia

Osadzanie to wektor numeryczny obliczony przez model. Teksty o powiązanych znaczeniach zwykle leżą blisko siebie w przestrzeni tego modelu, ale podobieństwo nie gwarantuje trafności. Zapytania i dokumenty muszą dzielić zgodną przestrzeń: pasującą do modelu i wymiarów. Mapa dwuosiowa ma charakter ilustracyjny; wektory rzeczywiste mogą mieć setki lub tysiące wymiarów. Odbuduj i ponownie przetestuj indeks w przypadku zmiany modelu lub wymiarów. Podobieństwo cosinus porównuje kierunki wektorów; nie jest to prawdopodobieństwo, że odpowiedź jest prawdziwa.

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Szczegółowe laboratorium

Co łączy RRF?

RRF faworyzuje dokumenty umieszczone wysoko na jednej lub kilku listach. Używa rangi, zamiast zakładać, że wyniki BM25 i podobieństwo wektorów mają tę samą skalę. W szablonie lokalnym lista połączona jest zmieniana przed złożeniem kontekstu.

Na przykład wyszukiwanie wektorowe umieszcza podręcznik nad katalogiem; BM25 na pierwszym miejscu umieszcza katalog LX-240. Fuzja może zachować oba źródła dowodów. Reranking sprawdza trafność zapytania. Jeśli żadna z list nie zawiera wymaganych dowodów, fuzja nie może ich utworzyć.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Listy kandydatów semantycznych i BM25 są łączone przez RRF, a następnie zmieniane są ich rankingi. Obydwa wyszukiwania uzupełniają się; rysunek nie oznacza jednoczesnego wykonania. Pobieranie zwraca dowód. Jeśli model odpowiedzi jest włączony, tworzy on również odpowiedź; odzyskane dowody nadal wymagają sprawdzenia. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

W przypadku „adaptera do LX-240” wyszukiwanie wektorowe przechwytuje znaczenie, a BM25 pomaga w określeniu dokładnego identyfikatora. Lokalna hybryda stosuje RRF, a następnie zmienia rangę i generuje.

template: Hybrid
vector_k: 15
bm25_k: 15
final_top_k: 5

Spróbuj sam

1. Skonfiguruj vector_k=15, bm25_k=15 i final_top_k=5; porównaj z Naive w zakresie dokładnych identyfikatorów.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Prawy fragment dociera do ostatecznej listy bez bezpośredniego dodawania niezgodnych wektorów i partytur BM25. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Dokładne dopasowanie leksykalne może nadal pochodzić z niewłaściwej wersji. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy osoba zajmująca się rerankingiem może naprawić niezindeksowany dokument?

Nie. Fragment musi najpierw znajdować się w indeksie i na liście kandydackiej.

Czy możesz bezpośrednio porównać wektory z różnych modeli?

Generalnie nie; ich przestrzenie nie są automatycznie kompatybilne.

Jaki wynik powinno dać to ćwiczenie?

Prawy fragment dociera do ostatecznej listy bez bezpośredniego dodawania niezgodnych wektorów i partytur BM25.

Pojęcia do zapamiętania

• Zmień rangę: Bardziej ostrożna zmiana kolejności już pobranych kandydatów.
• Osadzanie: reprezentacja numeryczna używana do porównywania treści.
• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.

Źródła i następny krok

• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• LangGraph — Przepływy pracy i agenci

Aby przygotować: R06 — Wykres RAG i wykresy wiedzy