Dlaczego RAG słabo odpowiada?
Napraw uszkodzony etap.
Czego się dowiesz
- Wyjaśnij: dobre dokumenty poprzedzają dobre odpowiedzi
- Zastosuj tę ideę na przykładzie: Dlaczego RAG słabo odpowiada?
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Napraw uszkodzony etap. Szybkie zmiany nie pomogą, jeśli niezbędne dowody nigdy nie dotrą do kontekstu.
Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.
Jak to działa, krok po kroku
Dobre dokumenty poprzedzają dobre odpowiedzi
Przygotuj czytelny tekst, jasne nagłówki, tabele z nagłówkami i źródłami bez zbędnych duplikatów. Dzielenie dokumentu na fragmenty, które można oddzielnie odzyskiwać; nakładanie się zapewnia ciągłość pomiędzy sąsiadami. Krótki kawałek może stracić warunki, podczas gdy duży wprowadza hałas. Metadane zachowują źródło, pozycję i wersję, a także zakres dostępu, jeśli jest to wymuszone przez implementację. Przesyłanie przechowuje plik; indeksowanie umożliwia przeszukiwanie. Gdy zmieni się źródło, przed zadeklarowaniem aktualnej bazy wiedzy sprawdź, czy stare fragmenty zniknęły i czy zostały pobrane nowe.
Wyszukiwanie i ranking to różne etapy
Funkcja wyszukiwania wybiera kandydatów i porządkuje ich w rankingu. top_k to liczba żądanych wyników; zwiększanie go może przynieść dowody, ale także hałas. Osoba dokonująca rerankingu dokładniej przygląda się zapytaniu i kandydatom. Nie można odzyskać fragmentu brakującego na liście początkowej. BM25 wyszukuje dopasowania leksykalne i pomaga w doborze dokładnych kodów; wyszukiwanie wektorów szuka podobieństwa semantycznego. RRF łączy pozycje na listach rankingowych zamiast dodawać wyniki z niezgodnymi jednostkami. Dodatkowe etapy muszą uzasadniać ich jakość, opóźnienia i koszt poprzez testy.
Płynność i prawdziwość sprawdzane są oddzielnie
Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Czy tekst jest w formacie PDF? Czy został wydobyty? Czy fragment istnieje? Czy został kandydatem? Czy to jest w kontekście? Czy odpowiedź używa go poprawnie? Kontrole te oddzielają sześć przyczyn.
Spróbuj sam
- Diagnozuj pustą ekstrakcję, niski ranking, obcięte warunki, nieaktualne źródła i wymyślone roszczenia.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Zidentyfikuj pierwszy etap z brakującymi lub nieprawidłowymi danymi i przetestuj jedną ukierunkowaną zmianę. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Zwiększanie top_k nie może naprawić pustej ekstrakcji. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy ukończenie przesyłania oznacza, że dokument jest gotowy do RAG?
Nie. Wyodrębnianie, fragmentowanie i indeksowanie również musi zakończyć się pomyślnie.
Czy osoba zajmująca się rerankingiem może naprawić niezindeksowany dokument?
Nie. Fragment musi najpierw znajdować się w indeksie i na liście kandydackiej.
Jaki wynik powinno dać to ćwiczenie?
Zidentyfikuj pierwszy etap z brakującymi lub nieprawidłowymi danymi i przetestuj jedną ukierunkowaną zmianę.
Pojęcia do zapamiętania
- Kawałek: Fragment dokumentu, który można pobrać osobno.
- Zmień rangę: Bardziej ostrożna zmiana kolejności już pobranych kandydatów.
- Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.
Źródła i następny krok
Aby przygotować: D04 — Dobre pytania do testowania RAG