Uczenie się przez wzmacnianie, robotyka i aktualne badania

Badania nad sztuczną inteligencją badają czynniki uczące się, modele środowiska oraz kombinacje zasad i uczenia się. Oddziel dowody od hipotez.

Jest to laboratorium koncepcyjne lub zewnętrzne. Nie zakłada się, że aplikacja udostępnia wszystkie opisane elementy sterujące.

Jak to działa, krok po kroku

Uczenie się na podstawie działań i nagród

W uczeniu się przez wzmacnianie agent obserwuje otoczenie, wybiera działania i otrzymuje nagrody. Polityka opisuje wybór działań; celem jest łączna wydajność, a nie sama natychmiastowa nagroda. Źle zaprojektowana nagroda może zachęcać do niepożądanych zachowań. Roboty dodają czujniki, siłowniki i ograniczenia fizyczne. Model świata próbuje modelować zmiany środowiska, ale przewidywania wymagają walidacji. Informacje zwrotne od ludzi mogą pomóc w dostosowaniu zachowania bez gwarantowania bezpieczeństwa. Agent LLM korzystający z narzędzi nie jest automatycznie szkolony online z RL.

Jak uczenie się zmienia model

Dane uczące to zbiór przykładów używanych do dostosowywania parametrów modelu. Uczenie się nadzorowane obejmuje cel, taki jak „spam”. Uczenie się bez nadzoru znajduje strukturę, taką jak grupy klientów. Samonadzorowane uczenie się tworzy cele na podstawie danych, na przykład przewidywanie następującego tekstu. Walidacja pomaga wybrać ustawienia; zestaw testowy pozostaje oddzielony aż do oceny końcowej. Model, który zapamiętuje przykłady i nie radzi sobie z nowymi danymi, jest nadmiernie dopasowany. Właściwy podział zapobiega przedostawaniu się informacji ze zbioru testowego do treningu.

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Uczenie się przez wzmacnianie i robotyka to tematy zewnętrzne; szkolenie oparte na nagrodach różni się od zwykłego wnioskowania agenta. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

W labiryncie nagradzanie wyjścia różni się od nagradzania ruchu. Model świata może przewidywać przejścia, podczas gdy reguły symboliczne zabraniają stref. Robotyka dodaje ograniczenia fizyczne.

Spróbuj sam

1. Zaprojektuj nagrody w labiryncie i znajdź sposób na ich wykorzystanie.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Polityka realizuje założony cel i jest testowana w nowych sytuacjach; Wydajność benchmarku nie ustanawia AGI. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Systemy neurosymboliczne, modele świata i AGI nie są synonimami. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy każdy agent korzystający z narzędzi uczy się z RL podczas rozmowy?

Nie. Korzystanie z przeszkolonego modelu i przekwalifikowanie to odrębne procesy.

Dlaczego nie oceniać wyłącznie na podstawie danych szkoleniowych?

Chcemy występów w nowych sytuacjach, a nie dowodu zapamiętywania.

Jaki wynik powinno dać to ćwiczenie?

Polityka realizuje założony cel i jest testowana w nowych sytuacjach; Wydajność benchmarku nie ustanawia AGI.

Pojęcia do zapamiętania

• Polityka: Wyuczona zasada wyboru działań.
• Nadmierne dopasowanie: Model pasuje do przykładów, które widział zbyt blisko.
• Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.

Źródła i następny krok

• Hugging Face — kurs Deep RL
• scikit-learn — Podręcznik użytkownika
• LangGraph — Przepływy pracy i agenci

Aby przygotować: X04 — Adaptacja i obsługa modeli