Aktualizacje, usuwanie i ponowne indeksowanie
Aktualizacja nie będzie kompletna, dopóki odpowiedzi nie będą korzystać z nowej wersji.
Czego się dowiesz
- Wyjaśnij: dobre dokumenty poprzedzają dobre odpowiedzi
- Zastosuj pomysł na przykładzie: Aktualizacje, usuwanie i ponowne indeksowanie
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Aktualizacja nie będzie kompletna, dopóki odpowiedzi nie będą korzystać z nowej wersji. Ponowne indeksowanie zmienia przeszukiwalną reprezentację.
Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.
Jak to działa, krok po kroku
Dobre dokumenty poprzedzają dobre odpowiedzi
Przygotuj czytelny tekst, jasne nagłówki, tabele z nagłówkami i źródłami bez zbędnych duplikatów. Dzielenie dokumentu na fragmenty, które można oddzielnie odzyskiwać; nakładanie się zapewnia ciągłość pomiędzy sąsiadami. Krótki kawałek może stracić warunki, podczas gdy duży wprowadza hałas. Metadane zachowują źródło, pozycję i wersję, a także zakres dostępu, jeśli jest to wymuszone przez implementację. Przesyłanie przechowuje plik; indeksowanie umożliwia przeszukiwanie. Gdy zmieni się źródło, przed zadeklarowaniem aktualnej bazy wiedzy sprawdź, czy stare fragmenty zniknęły i czy zostały pobrane nowe.
Współrzędne dla znaczenia
Osadzanie to wektor numeryczny obliczony przez model. Teksty o powiązanych znaczeniach zwykle leżą blisko siebie w przestrzeni tego modelu, ale podobieństwo nie gwarantuje trafności. Zapytania i dokumenty muszą dzielić zgodną przestrzeń: pasującą do modelu i wymiarów. Mapa dwuosiowa ma charakter ilustracyjny; wektory rzeczywiste mogą mieć setki lub tysiące wymiarów. Odbuduj i ponownie przetestuj indeks w przypadku zmiany modelu lub wymiarów. Podobieństwo cosinus porównuje kierunki wektorów; nie jest to prawdopodobieństwo, że odpowiedź jest prawdziwa.
Zdefiniuj sukces przed optymalizacją
Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Zmień urządzenie z 14 na 30 dni. Usuń starą wersję, zindeksuj nowe źródło i powtórz pytania. Zmiana osadzania wymaga zgodnych reprezentacji korpusu i zapytania.
Spróbuj sam
- Wykonaj migrację danych syntetycznych i zachowaj zestaw regresji.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Fragmenty oparte na starych zasadach nie są już odzyskiwane; odpowiedzi odnoszą się do nowego źródła. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Nie mieszaj niekompatybilnych wektorów w jednym indeksie. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy ukończenie przesyłania oznacza, że dokument jest gotowy do RAG?
Nie. Wyodrębnianie, fragmentowanie i indeksowanie również musi zakończyć się pomyślnie.
Czy możesz bezpośrednio porównać wektory z różnych modeli?
Generalnie nie; ich przestrzenie nie są automatycznie kompatybilne.
Jaki wynik powinno dać to ćwiczenie?
Fragmenty oparte na starych zasadach nie są już odzyskiwane; odpowiedzi odnoszą się do nowego źródła.
Pojęcia do zapamiętania
- Kawałek: Fragment dokumentu, który można pobrać osobno.
- Osadzanie: reprezentacja numeryczna używana do porównywania treści.
- Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.
Źródła i następny krok
Aby przygotować: D05 — Dlaczego RAG słabo odpowiada?