Co to jest LLM i jak odpowiada?
LLM buduje odpowiedzi token po tokenie.
Czego się dowiesz
- Wyjaśnij: od tokenów do odpowiedzi
- Zastosuj ten pomysł na przykładzie: Co to jest LLM i jak odpowiada?
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
LLM buduje odpowiedzi token po tokenie. Możemy go zrozumieć bez zaawansowanych formuł, podążając za tym, co otrzymuje i generuje.
Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.
Jak to działa, krok po kroku
Od tokenów do odpowiedzi
Token to jednostka tekstu: czasem słowo, czasem fragment słowa lub znak interpunkcyjny. Model przetwarza tokeny kontekstu i szacuje rozkład na następny token. Wybór powtarza się aż do zatrzymania. Mechanizm uwagi w architekturze Transformer łączy informacje o relacjach między tokenami; to nie jest ludzka uwaga. Uczenie zmienia parametry, podczas gdy wnioskowanie wykorzystuje wytrenowany model. Odpowiedź może brzmieć spójnie, a mimo to być nieprawdziwa: generowanie tekstu nie weryfikuje samodzielnie faktów.
Kontekst to stół warsztatowy
Kontekst obejmuje instrukcje, aktualne żądanie, odpowiednią historię, pobrane dokumenty i wyniki narzędzi. Okno kontekstowe ma ograniczoną pojemność; zarezerwuj również miejsce na odpowiedź. Więcej tekstu nie poprawia automatycznie dokładności. Nieistotne informacje i sprzeczności mogą ukryć ważne dowody. Starannie podsumowuj historię i zachowaj pochodzenie faktów. Stan opisuje bieżący przebieg, punkt kontrolny zapisuje punkt, który można wznowić, a pamięć trwała przechowuje informacje między przebiegami. Są to różne mechanizmy zarządzane przez aplikację.
Płynność i prawdziwość sprawdzane są oddzielnie
Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
„Podsumuj politykę w dwóch zdaniach” staje się tokenami. Model uwzględnia instrukcję i politykę, generuje kolejne tokeny i zatrzymania. Nie przeszukuje automatycznie dokumentów, chyba że aplikacja umożliwia ich wyszukanie.
Spróbuj sam
- Napisz akapit dotyczący polityki, poproś o dwa podsumowania, a następnie usuń politykę.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Podsumowanie zachowuje termin i warunki. Jeżeli nie podano żadnej polisy, model powinien potwierdzić ten brak. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
„Najprawdopodobniej” nie oznacza „prawdopodobnie”. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy token zawsze jest słowem?
NIE; tokenizacja zależy od modelu i języka. Użyj odpowiedniego tokenizera.
Czy punkt kontrolny jest trwałą pamięcią użytkownika?
Nie. Zapisanie przebiegu nie oznacza zachowania preferencji podczas rozmów.
Jaki wynik powinno dać to ćwiczenie?
Podsumowanie zachowuje termin i warunki. Jeżeli nie podano żadnej polisy, model powinien potwierdzić ten brak.
Pojęcia do zapamiętania
- Token: Jednostka używana przez model do określania granic tekstu i kontekstu.
- Punkt kontrolny: Zapisany stan używany do wznowienia wykonywania.
- Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.
Źródła i następny krok
Aby przygotować: F02 — W jaki sposób maszyna się uczy?