Przygotowywanie dokumentów dla AI

Dobra baza wiedzy zaczyna się od czystych, aktualnych dokumentów. Model nie może niezależnie decydować, która polityka powodująca konflikt jest prawidłowa.

Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.

Jak to działa, krok po kroku

Dobre dokumenty poprzedzają dobre odpowiedzi

Przygotuj czytelny tekst, jasne nagłówki, tabele z nagłówkami i źródłami bez zbędnych duplikatów. Dzielenie dokumentu na fragmenty, które można oddzielnie odzyskiwać; nakładanie się zapewnia ciągłość pomiędzy sąsiadami. Krótki kawałek może stracić warunki, podczas gdy duży wprowadza hałas. Metadane zachowują źródło, pozycję i wersję, a także zakres dostępu, jeśli jest to wymuszone przez implementację. Przesyłanie przechowuje plik; indeksowanie umożliwia przeszukiwanie. Gdy zmieni się źródło, przed zadeklarowaniem aktualnej bazy wiedzy sprawdź, czy stare fragmenty zniknęły i czy zostały pobrane nowe.

Płynność i prawdziwość sprawdzane są oddzielnie

Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.

Przed użyciem sprawdź dostęp

Uprawnienia muszą być egzekwowane przez serwery i warstwę danych. Nie pozwól, aby model decydował o tym, czy użytkownik może zobaczyć dokument. Filtruj źródła zanim wejdą w kontekst, a nie po wygenerowaniu odpowiedzi. Używaj poświadczeń o minimalnym dostępie, trzymaj je z dala od monitów, zrzutów ekranu i kodu przeglądarki oraz obracaj odsłonięte klucze. Lista dozwolonych domen widżetów nie zastępuje uwierzytelniania API. Uwierzytelnienie identyfikuje Cię; autoryzacja określa operacje i dane, których możesz użyć. Test również odmówił dostępu.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

W starym pliku PDF jest napisane 30 dni; obecna polityka mówi 14. Oznacz wersje, zachowaj bieżące źródło i usuń wygasły duplikat z aktywnego korpusu.

Spróbuj sam

1. Wyczyść dwie sprzeczne zasady i tabelę bez nagłówków.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Aktywny korpus zawiera możliwą do zidentyfikowania politykę bez sprzecznych wersji. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Nie przesyłaj poufnych dokumentów wyłącznie na potrzeby eksperymentu. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy ukończenie przesyłania oznacza, że ​​dokument jest gotowy do RAG?

Nie. Wyodrębnianie, fragmentowanie i indeksowanie również musi zakończyć się pomyślnie.

Czy link w odpowiedzi wystarczy?

NIE; musi uzasadniać konkretne roszczenie oraz pasować do czasu i okoliczności.

Jaki wynik powinno dać to ćwiczenie?

Aktywny korpus zawiera możliwą do zidentyfikowania politykę bez sprzecznych wersji.

Pojęcia do zapamiętania

• Kawałek: Fragment dokumentu, który można pobrać osobno.
• Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.
• Autoryzacja / Autoryzacja: Sprawdzanie prawa dostępu do operacji lub zasobu.

Źródła i następny krok

• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• Hugging Face — kurs LLM
• OWASP — Wstrzykiwanie instrukcji

Aby przygotować: R01 — Co to jest RAG i dlaczego jest przydatny? · R03 — Naiwny RAG: Twój poziom wyjściowy