Klasyczne ML i dane strukturalne

Wiele problemów tabelarycznych ma rozwiązania ML prostsze niż LLM.

Czego się dowiesz

  • Wyjaśnij: ai nie jest jednym rodzajem modelu
  • Zastosuj pomysł na przykładzie: klasyczne ML i dane strukturalne
  • Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń

Wiele problemów tabelarycznych ma rozwiązania ML prostsze niż LLM. Zacznij od zmiennej, którą chcesz przewidzieć.

Jest to laboratorium koncepcyjne lub zewnętrzne. Nie zakłada się, że aplikacja udostępnia wszystkie opisane elementy sterujące.

Jak to działa, krok po kroku

Sztuczna inteligencja nie jest jednym typem modelu

Sztuczna inteligencja to rodzina metod rozpoznawania, przewidywania, planowania i generowania. System oparty na regułach postępuje zgodnie z instrukcjami napisanymi przez ludzi. Uczenie maszynowe uczy się relacji na przykładach; głębokie uczenie się wykorzystuje sieci wielowarstwowe. Generatywna sztuczna inteligencja tworzy nowe treści. LLM działa z językiem, ale rekomendacje produktów lub wykrywanie defektów mogą wykorzystywać inne modele. Pomyśl o zestawie narzędzi: wybierz narzędzie do rozwiązania problemu. Prosty algorytm może być bardziej odpowiedni niż agent dla ustalonej reguły.

Jak uczenie się zmienia model

Dane uczące to zbiór przykładów używanych do dostosowywania parametrów modelu. Uczenie się nadzorowane obejmuje cel, taki jak „spam”. Uczenie się bez nadzoru znajduje strukturę, taką jak grupy klientów. Samonadzorowane uczenie się tworzy cele na podstawie danych, na przykład przewidywanie następującego tekstu. Walidacja pomaga wybrać ustawienia; zestaw testowy pozostaje oddzielony aż do oceny końcowej. Model, który zapamiętuje przykłady i nie radzi sobie z nowymi danymi, jest nadmiernie dopasowany. Właściwy podział zapobiega przedostawaniu się informacji ze zbioru testowego do treningu.

Zdefiniuj sukces przed optymalizacją

Przygotuj reprezentatywne prośby i oczekiwane odpowiedzi lub właściwości. Uwzględnij zwykłe przypadki, niejednoznaczność, brakujące dane i błędy narzędzi. W przypadku RAG mierz pozyskiwanie dowodów oddzielnie od poprawności odpowiedzi. Recall@k mierzy udział odpowiednich dowodów znalezionych w pierwszych k wynikach; Precision@k mierzy udział zwróconych wyników, które są istotne. W przypadku agentów śledź także działania, uprawnienia i zatrzymania. Sędzia LLM może przyspieszyć ocenę, ale wymaga kalibracji w stosunku do ludzi. Nie zmieniaj jednocześnie podpowiedzi, modelu i indeksu, jeśli chcesz zrozumieć, co poprawiło wyniki.

Schemat objaśniający

Klasyczne ML i dane strukturalne Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Znajomości: Strukturalna tabela / CSV → Funkcje i cel; Funkcje i cel → Podział szkolenia / walidacji / testów; Podział szkolenia / walidacji / testów → Trening modelowy; Trening modelowy → Wyuczone parametry; Wyuczone parametry → Przewidywanie lub wygenerowana treść; Przewidywanie lub wygenerowana treść → Pomiary jakości; Podział szkolenia / walidacji / testów → Oddzielne przykłady testowe (Wstrzymane dane testowe); Oddzielne przykłady testowe → Przewidywanie lub wygenerowana treść. X01 · Mapa relacji Klasyczne ML i dane strukturalne Wejście Strukturalna tabela / CSV Dane Funkcje i cel Decyzja / kontrola Podział szkolenia / walidacji / testów Przetwarzanie Trening modelowy Sklep / indeks Wyuczone parametry Wejście Oddzielne przykłady testowe Wyjście Przewidywanie lub wygenerowana treść Decyzja / kontrola Pomiary jakości Wstrzymane dane testowe Główny przepływ Dane i kontekst Informacje zwrotne i zwrot

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Klasyfikacja przewiduje kategorię; regresja wartość; grupowanie danych bez etykiet. Rekomendacje opcji rangowania, prognozowanie podąża za czasem, a wykrywanie anomalii znajduje odchylenia.

Spróbuj sam

  1. Mapuj sześć potrzeb sklepu na sześć rodzin zadań i odpowiednie metryki.
  2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
  3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
  4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
  5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

W przypadku popytu na produkty użyj prognozowania z podziałami czasowymi; nie mieszaj przyszłych danych z treningiem. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Korelacja nie ustala przyczynowości. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy każda automatyzacja to sztuczna inteligencja?

Nie. Ustalona reguła może coś zautomatyzować bez uczenia się i elastycznego rozumowania.

Dlaczego nie oceniać wyłącznie na podstawie danych szkoleniowych?

Chcemy występów w nowych sytuacjach, a nie dowodu zapamiętywania.

Jaki wynik powinno dać to ćwiczenie?

W przypadku popytu na produkty użyj prognozowania z podziałami czasowymi; nie mieszaj przyszłych danych z treningiem.

Pojęcia do zapamiętania

  • AI: Rodzina metod, a nie synonim chatbota.
  • Nadmierne dopasowanie: Model pasuje do przykładów, które widział zbyt blisko.
  • Regresja / Regresja: Zmiana, która przerywa poprzednio poprawną wielkość liter.

Źródła i następny krok

Aby przygotować: F01 — Czym jest sztuczna inteligencja? · F02 — W jaki sposób maszyna się uczy? · F07 — Multimodalna sztuczna inteligencja w prostym języku