Inżynieria kontekstu: co dociera do modelu?

Inżynieria kontekstu wybiera to, co widzi model. Celem jest trafność, a nie wypełnianie okna kontekstowego.

Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.

Jak to działa, krok po kroku

Kontekst to stół warsztatowy

Kontekst obejmuje instrukcje, aktualne żądanie, odpowiednią historię, pobrane dokumenty i wyniki narzędzi. Okno kontekstowe ma ograniczoną pojemność; zarezerwuj również miejsce na odpowiedź. Więcej tekstu nie poprawia automatycznie dokładności. Nieistotne informacje i sprzeczności mogą ukryć ważne dowody. Starannie podsumowuj historię i zachowaj pochodzenie faktów. Stan opisuje bieżący przebieg, punkt kontrolny zapisuje punkt, który można wznowić, a pamięć trwała przechowuje informacje między przebiegami. Są to różne mechanizmy zarządzane przez aplikację.

RAG uzyskuje dostęp do dowodów, a nie przekwalifikowuje

RAG oznacza generowanie wspomagane wyszukiwaniem: wyszukiwanie dostarcza odpowiednich fragmentów, zanim model odpowie. Pozyskiwanie przygotowuje dokumenty, podczas gdy wykonanie zapytania przeszukuje indeks i buduje kontekst. Model osadzania reprezentuje tekst liczbowo; model odpowiedzi zapisuje odpowiedź. Rerankery, wizja, modele graficzne i routery pełnią w razie potrzeby różne role. RAG pomaga w przypadku prywatnych lub zmieniających się informacji, ale nie gwarantuje prawdy. Korzystaj z autoryzowanego API dla sald, dokładnych zapasów lub uprawnień; stary dokument nie jest wiarygodnym źródłem obecnego stanu.

Przed użyciem sprawdź dostęp

Uprawnienia muszą być egzekwowane przez serwery i warstwę danych. Nie pozwól, aby model decydował o tym, czy użytkownik może zobaczyć dokument. Filtruj źródła zanim wejdą w kontekst, a nie po wygenerowaniu odpowiedzi. Używaj poświadczeń o minimalnym dostępie, trzymaj je z dala od monitów, zrzutów ekranu i kodu przeglądarki oraz obracaj odsłonięte klucze. Lista dozwolonych domen widżetów nie zastępuje uwierzytelniania API. Uwierzytelnienie identyfikuje Cię; autoryzacja określa operacje i dane, których możesz użyć. Test również odmówił dostępu.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

W przypadku pytania zwrotnego zachowaj aktualne zasady i produkt, a nie dziesięć stron kolorowych dyskusji. Jeśli dwie zasady kolidują ze sobą, zaznacz wersje, zamiast je mieszać.

Spróbuj sam

1. Skróć dziesięć akapitów kontekstu do tego, czego wymaga pytanie.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Model otrzymuje instrukcje, pytania i odpowiednie dowody z zachowaniem źródła i wersji. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Podsumowanie może utracić warunki; sprawdź, co zostało usunięte. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy punkt kontrolny jest trwałą pamięcią użytkownika?

Nie. Zapisanie przebiegu nie oznacza zachowania preferencji podczas rozmów.

Czy RAG zmienia parametry LLM?

Nie. Dostarcza kontekst w czasie żądania; zmiany parametrów należą do szkolenia.

Jaki wynik powinno dać to ćwiczenie?

Model otrzymuje instrukcje, pytania i odpowiednie dowody z zachowaniem źródła i wersji.

Pojęcia do zapamiętania

• Punkt kontrolny: Zapisany stan używany do wznowienia wykonywania.
• Wyszukiwanie: Znajdowanie odpowiednich informacji w dostępnych źródłach.
• Autoryzacja / Autoryzacja: Sprawdzanie prawa dostępu do operacji lub zasobu.

Źródła i następny krok

• LangGraph — Przepływy pracy i agenci
• Lewis et al. — Pokolenie rozszerzone o odzyskiwanie
• OWASP — Wstrzykiwanie instrukcji

Aby przygotować: P01 — Szybka inżynieria bez magicznych formuł