Porcjowanie i metadane

Porcjowanie określa, ile kontekstu jest pobierane w jednym fragmencie. Metadane mówią nam, skąd pochodzą i czy są aktualne.

Jest to laboratorium koncepcyjne lub zewnętrzne. Nie zakłada się, że aplikacja udostępnia wszystkie opisane elementy sterujące.

Jak to działa, krok po kroku

Dobre dokumenty poprzedzają dobre odpowiedzi

Przygotuj czytelny tekst, jasne nagłówki, tabele z nagłówkami i źródłami bez zbędnych duplikatów. Dzielenie dokumentu na fragmenty, które można oddzielnie odzyskiwać; nakładanie się zapewnia ciągłość pomiędzy sąsiadami. Krótki kawałek może stracić warunki, podczas gdy duży wprowadza hałas. Metadane zachowują źródło, pozycję i wersję, a także zakres dostępu, jeśli jest to wymuszone przez implementację. Przesyłanie przechowuje plik; indeksowanie umożliwia przeszukiwanie. Gdy zmieni się źródło, przed zadeklarowaniem aktualnej bazy wiedzy sprawdź, czy stare fragmenty zniknęły i czy zostały pobrane nowe.

Współrzędne dla znaczenia

Osadzanie to wektor numeryczny obliczony przez model. Teksty o powiązanych znaczeniach zwykle leżą blisko siebie w przestrzeni tego modelu, ale podobieństwo nie gwarantuje trafności. Zapytania i dokumenty muszą dzielić zgodną przestrzeń: pasującą do modelu i wymiarów. Mapa dwuosiowa ma charakter ilustracyjny; wektory rzeczywiste mogą mieć setki lub tysiące wymiarów. Odbuduj i ponownie przetestuj indeks w przypadku zmiany modelu lub wymiarów. Podobieństwo cosinus porównuje kierunki wektorów; nie jest to prawdopodobieństwo, że odpowiedź jest prawdziwa.

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Oddzielenie „14 dni” od „tylko nieużywane” powoduje utratę warunku. Trzymaj reguły i wyjątki razem; zachowaj nagłówki tabel w wyodrębnionych reprezentacjach.

Spróbuj sam

1. Podziel politykę na dwa sposoby i porównaj informacje utracone na granicach.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Odpowiedni fragment zachowuje termin i warunek, a także identyfikator źródła. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Nie zakładaj, że istnieje kontrola interfejsu użytkownika wielkości fragmentu, chyba że zostanie ujawniona. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy ukończenie przesyłania oznacza, że ​​dokument jest gotowy do RAG?

Nie. Wyodrębnianie, fragmentowanie i indeksowanie również musi zakończyć się pomyślnie.

Czy możesz bezpośrednio porównać wektory z różnych modeli?

Generalnie nie; ich przestrzenie nie są automatycznie kompatybilne.

Jaki wynik powinno dać to ćwiczenie?

Odpowiedni fragment zachowuje termin i warunek, a także identyfikator źródła.

Pojęcia do zapamiętania

• Kawałek: Fragment dokumentu, który można pobrać osobno.
• Osadzanie: reprezentacja numeryczna używana do porównywania treści.
• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.

Źródła i następny krok

• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• LangGraph — Przepływy pracy i agenci

Aby przygotować: D02 — Przesyłanie, szybkie indeksowanie i indeksowanie wsadowe