Co to jest RAG i dlaczego jest przydatny?

RAG jest jak kolega otwierający teczkę przed udzieleniem odpowiedzi.

Czego się dowiesz

  • Wyjaśnij: szmata uzyskuje dostęp do dowodów, nie przekwalifikowuje
  • Zastosuj tę ideę na przykładzie: Co to jest RAG i dlaczego jest przydatny?
  • Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń

RAG jest jak kolega otwierający teczkę przed udzieleniem odpowiedzi. Sprawdź, czy znajduje właściwą stronę i zachowuje swoje znaczenie.

Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.

Jak to działa, krok po kroku

RAG uzyskuje dostęp do dowodów, a nie przekwalifikowuje

RAG oznacza generowanie wspomagane wyszukiwaniem: wyszukiwanie dostarcza odpowiednich fragmentów, zanim model odpowie. Pozyskiwanie przygotowuje dokumenty, podczas gdy wykonanie zapytania przeszukuje indeks i buduje kontekst. Model osadzania reprezentuje tekst liczbowo; model odpowiedzi zapisuje odpowiedź. Rerankery, wizja, modele graficzne i routery pełnią w razie potrzeby różne role. RAG pomaga w przypadku prywatnych lub zmieniających się informacji, ale nie gwarantuje prawdy. Korzystaj z autoryzowanego API dla sald, dokładnych zapasów lub uprawnień; stary dokument nie jest wiarygodnym źródłem obecnego stanu.

Dobre dokumenty poprzedzają dobre odpowiedzi

Przygotuj czytelny tekst, jasne nagłówki, tabele z nagłówkami i źródłami bez zbędnych duplikatów. Dzielenie dokumentu na fragmenty, które można oddzielnie odzyskiwać; nakładanie się zapewnia ciągłość pomiędzy sąsiadami. Krótki kawałek może stracić warunki, podczas gdy duży wprowadza hałas. Metadane zachowują źródło, pozycję i wersję, a także zakres dostępu, jeśli jest to wymuszone przez implementację. Przesyłanie przechowuje plik; indeksowanie umożliwia przeszukiwanie. Gdy zmieni się źródło, przed zadeklarowaniem aktualnej bazy wiedzy sprawdź, czy stare fragmenty zniknęły i czy zostały pobrane nowe.

Płynność i prawdziwość sprawdzane są oddzielnie

Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.

Schemat objaśniający

Co to jest RAG i dlaczego jest przydatny? Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Pobieranie zwraca dowód. Jeśli model odpowiedzi jest włączony, tworzy on również odpowiedź; odzyskane dowody nadal wymagają sprawdzenia. Znajomości: Dokumenty źródłowe → Pozyskiwanie i indeksowanie dokumentów; Pozyskiwanie i indeksowanie dokumentów → Indeks wektorowy; Żądanie użytkownika → Wyszukiwanie semantyczne; Wyszukiwanie semantyczne → Pasaże kandydatów; Pasaże kandydatów → Zbuduj kontekst dowodowy; Zbuduj kontekst dowodowy → Model odpowiedzi (opcjonalnie); Model odpowiedzi (opcjonalnie) → Dowody ze źródłami; Dowody ze źródłami → Weryfikacja przez człowieka; Indeks wektorowy → Wyszukiwanie semantyczne; Instrukcje i kontekst → Model odpowiedzi (opcjonalnie). R01 · Mapa relacji Co to jest RAG i dlaczego jest przydatny? Wejście Dokumenty źródłowe Przetwarzanie Pozyskiwanie i indeksowanie dokumentów Sklep / indeks Indeks wektorowy Wejście Żądanie użytkownika Przetwarzanie Wyszukiwanie semantyczne Dane Pasaże kandydatów Dane Instrukcje i kontekst Przetwarzanie Zbuduj kontekst dowodowy Model/agent AI Model odpowiedzi (opcjonalnie) Wyjście Dowody ze źródłami Decyzja / kontrola Weryfikacja przez człowieka Główny przepływ Dane i kontekst Informacje zwrotne i zwrot

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Pobieranie zwraca dowód. Jeśli model odpowiedzi jest włączony, tworzy on również odpowiedź; odzyskane dowody nadal wymagają sprawdzenia. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Prześlij i zindeksuj fikcyjną politykę, a następnie zapytaj o termin. Pobieranie zapewnia 14-dniowe przejście do modelu. Pytanie gwarancyjne nieobecne u źródła należy traktować jako brakującą informację.

Spróbuj sam

  1. Narysuj pozyskiwanie i wykonywanie zapytań oddzielnie dla zasad zwrotów.
  2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
  3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
  4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
  5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Odpowiedź można sprawdzić w odniesieniu do fragmentu; pytania nieobsługiwane nie otrzymują żadnej wymyślonej obietnicy. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Indeksowanie i odpowiadanie to oddzielne ścieżki o różnych trybach awarii. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy RAG zmienia parametry LLM?

Nie. Dostarcza kontekst w czasie żądania; zmiany parametrów należą do szkolenia.

Czy ukończenie przesyłania oznacza, że ​​dokument jest gotowy do RAG?

Nie. Wyodrębnianie, fragmentowanie i indeksowanie również musi zakończyć się pomyślnie.

Jaki wynik powinno dać to ćwiczenie?

Odpowiedź można sprawdzić w odniesieniu do fragmentu; pytania nieobsługiwane nie otrzymują żadnej wymyślonej obietnicy.

Pojęcia do zapamiętania

  • Wyszukiwanie: Znajdowanie odpowiednich informacji w dostępnych źródłach.
  • Kawałek: Fragment dokumentu, który można pobrać osobno.
  • Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.

Źródła i następny krok

Aby przygotować: F03 — Co to jest LLM i jak odpowiada? · P02 — Inżynieria kontekstu: co dociera do modelu? · P07 — Podpowiedź, RAG czy dostrajanie?