Asystent dla skomplikowanych dokumentów

Użyj jednego korpusu, aby porównać strategie RAG. Zmiana szablonu wymaga wyważonego uzasadnienia.

Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.

Jak to działa, krok po kroku

Wyszukiwanie i ranking to różne etapy

Funkcja wyszukiwania wybiera kandydatów i porządkuje ich w rankingu. top_k to liczba żądanych wyników; zwiększanie go może przynieść dowody, ale także hałas. Osoba dokonująca rerankingu dokładniej przygląda się zapytaniu i kandydatom. Nie można odzyskać fragmentu brakującego na liście początkowej. BM25 wyszukuje dopasowania leksykalne i pomaga w doborze dokładnych kodów; wyszukiwanie wektorów szuka podobieństwa semantycznego. RRF łączy pozycje na listach rankingowych zamiast dodawać wyniki z niezgodnymi jednostkami. Dodatkowe etapy muszą uzasadniać ich jakość, opóźnienia i koszt poprzez testy.

Wyraźne powiązania z pochodzeniem

Wykres zawiera elementy i relacje, takie jak Produkt → zastosowania → Część. Ekstrakcja LLM może mylić nazwy lub wymyślać relacje; zachowaj dokument potwierdzający każdy fakt. Ograniczone przechodzenie szuka połączeń poprzez wiele przeskoków. Local Graph RAG łączy fakty Neo4j z fragmentami wektorowymi. Nie jest to automatycznie potok Microsoft GraphRAG z wykrywaniem społeczności i raportami. W przypadku pytań dotyczących zależności można skorzystać z wykresu; proste pytania FAQ mogą być tańsze przy pobieraniu wektorów.

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Porównaj to samo pytanie, korzystając z oddzielnych konfiguracji multimodalnych, graficznych i hybrydowych. Ich odpowiedzi są oceniane oddzielnie, a nie łączone w nowy szablon. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Pytania obejmują dokładne kody, synonimy, powiązania części i brakujące źródła. Testuj naiwnie, reranking, wykres, hybryda i router; dodaj Multimodalny tylko ze zweryfikowanym przetwarzaniem wizji.

Fikcyjne dane dotyczące ćwiczeń

Źródło	Informacje do wykorzystania
Katalog	LX-240 wykorzystuje część P-12; P-12 korzysta z adaptera A-7.
Powroty	Żądania w ciągu 14 dni od otrzymania; produkt nieużywany w oryginalnym opakowaniu.
Dostawa	Szacunkowo 2–3 dni robocze po wysyłce, brak gwarancji.

Pytania startowe: „Z jakiego adaptera korzysta LX-240?”, „Czy mogę zwrócić używany produkt?” i „Jak długo trwa dostawa?”. Dodaj przypadki niejednoznaczne i bez odpowiedzi. Przy każdym porównaniu zachowaj to samo źródło.

Spróbuj sam

1. Przeprowadź identyczne testy w różnych wariantach i sprawdź każdy różniący się wynik.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Tabela rejestruje pobrane dowody, poprawność, czas, zużycie i trasę routera, w tym bezpośrednią. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Różne źródła lub pytania unieważniają porównanie. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy osoba zajmująca się rerankingiem może naprawić niezindeksowany dokument?

Nie. Fragment musi najpierw znajdować się w indeksie i na liście kandydackiej.

Czy przewaga wyodrębniona przez sztuczną inteligencję dowodzi, że związek jest prawdziwy?

Nie. Sprawdź jego źródło i tożsamość podmiotów.

Jaki wynik powinno dać to ćwiczenie?

Tabela rejestruje pobrane dowody, poprawność, czas, zużycie i trasę routera, w tym bezpośrednią.

Pojęcia do zapamiętania

• Zmień rangę: Bardziej ostrożna zmiana kolejności już pobranych kandydatów.
• Chmiel: Przecięcie jednej relacji na wykresie.
• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.

Źródła i następny krok

• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• Microsoft GraphRAG — przegląd zapytań
• LangGraph — Przepływy pracy i agenci

Aby przygotować: R04 — Zmień rangę RAG: najpierw lepszy dowód · R05 — Multimodalny RAG: dokumenty zawierają również obrazy · R06 — Wykres RAG i wykresy wiedzy · R07 — Hybrid RAG: znaczenie i dokładne słowa · R08 — Router RAG i wybór strategii odzyskiwania · E02 — Ocena RAG etap po etapie