Naive RAG: Twój poziom bazowy
Naiwny RAG to jasna linia bazowa: pobieranie semantyczne, składanie i generowanie kontekstu.
Czego się dowiesz
- Wyjaśnij: szmata uzyskuje dostęp do dowodów, nie przekwalifikowuje
- Zastosuj tę ideę na przykładzie: Naiwny RAG: Twoja linia bazowa
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Naiwny RAG to jasna linia bazowa: pobieranie semantyczne, składanie i generowanie kontekstu. Niska złożoność ułatwia diagnozę.
Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.
Jak to działa, krok po kroku
RAG uzyskuje dostęp do dowodów, a nie przekwalifikowuje
RAG oznacza generowanie wspomagane wyszukiwaniem: wyszukiwanie dostarcza odpowiednich fragmentów, zanim model odpowie. Pozyskiwanie przygotowuje dokumenty, podczas gdy wykonanie zapytania przeszukuje indeks i buduje kontekst. Model osadzania reprezentuje tekst liczbowo; model odpowiedzi zapisuje odpowiedź. Rerankery, wizja, modele graficzne i routery pełnią w razie potrzeby różne role. RAG pomaga w przypadku prywatnych lub zmieniających się informacji, ale nie gwarantuje prawdy. Korzystaj z autoryzowanego API dla sald, dokładnych zapasów lub uprawnień; stary dokument nie jest wiarygodnym źródłem obecnego stanu.
Współrzędne dla znaczenia
Osadzanie to wektor numeryczny obliczony przez model. Teksty o powiązanych znaczeniach zwykle leżą blisko siebie w przestrzeni tego modelu, ale podobieństwo nie gwarantuje trafności. Zapytania i dokumenty muszą dzielić zgodną przestrzeń: pasującą do modelu i wymiarów. Mapa dwuosiowa ma charakter ilustracyjny; wektory rzeczywiste mogą mieć setki lub tysiące wymiarów. Odbuduj i ponownie przetestuj indeks w przypadku zmiany modelu lub wymiarów. Podobieństwo cosinus porównuje kierunki wektorów; nie jest to prawdopodobieństwo, że odpowiedź jest prawdziwa.
Zdefiniuj sukces przed optymalizacją
Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.
Szczegółowe laboratorium
Testowe pobieranie przed zapisaniem
Korzystaj z tego samego katalogu, dostaw i zasad. Po zaindeksowaniu zapytaj „Jaki jest termin zwrotu niewykorzystanego produktu?”. Odbiór powinien zawierać termin i warunki. Następnie sprawdź, czy odpowiedź zachowuje je bez wymyślania wyjątków.
Zapytaj: „Jaka gwarancja handlowa ma zastosowanie?”. Korpus nie zawiera takich informacji. Dobry wynik potwierdza tę nieobecność. Jeśli pobieranie jest niezgodne z zasadami, zdiagnozuj źródło i indeks; jeśli znajdzie politykę, ale odpowiedź ją zignoruje, sprawdź kontekst i generację.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Pobieranie zwraca dowód. Jeśli model odpowiedzi jest włączony, tworzy on również odpowiedź; odzyskane dowody nadal wymagają sprawdzenia. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Masz polisę, katalog i dokumenty dostawy. Zacznij od top_k=4 i zapytaj o termin zwrotu. Przed zmianą podpowiedzi sprawdź, czy właściwy fragment sięga kontekstu.
template: Naive
top_k: 4
Spróbuj sam
- Twórz Naive RAG, wybieraj modele osadzania i reagowania, przesyłaj dane i testuj po zaindeksowaniu.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Fragment polityki zostanie pobrany, a odpowiedź zachowuje 14 dni i warunki. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Większy top_k może również dodać nieistotny kontekst. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy RAG zmienia parametry LLM?
Nie. Dostarcza kontekst w czasie żądania; zmiany parametrów należą do szkolenia.
Czy możesz bezpośrednio porównać wektory z różnych modeli?
Generalnie nie; ich przestrzenie nie są automatycznie kompatybilne.
Jaki wynik powinno dać to ćwiczenie?
Fragment polityki zostanie pobrany, a odpowiedź zachowuje 14 dni i warunki.
Pojęcia do zapamiętania
- Wyszukiwanie: Znajdowanie odpowiednich informacji w dostępnych źródłach.
- Osadzanie: reprezentacja numeryczna używana do porównywania treści.
- Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
Źródła i następny krok
Aby przygotować: R02 — Osadzania i wyszukiwanie wektorów