Multimodalna sztuczna inteligencja w prostym języku

Multimodalna sztuczna inteligencja może łączyć tekst, obrazy, dźwięk lub wideo. Każda modalność niesie ze sobą informacje i własne błędy.

Możesz kontynuować ten kurs bez konta i programowania. W przykładach wykorzystano dane syntetyczne, a wyniki sztucznej inteligencji wymagają sprawdzenia.

Jak to działa, krok po kroku

Różne sposoby, różne błędy

Model multimodalny może przetwarzać wiele typów danych wejściowych, ale dokładna obsługa zależy od modelu i integracji. OCR wyodrębnia tekst obrazu; wizja może opisywać przedmioty lub strukturę. Dźwięk można transkrybować lub generować, a wideo dodaje porządku czasowego. Zamazana etykieta lub przycięta jednostka może całkowicie zmienić wniosek. Zachowaj oryginał i lokalizację informacji. W RAG obraz może stać się indeksowanym tekstem opisowym bez natywnych osadzonych multimodalnych. Akceptacja pliku nie oznacza prawidłowego zrozumienia treści.

Od tokenów do odpowiedzi

Token to jednostka tekstu: czasem słowo, czasem fragment słowa lub znak interpunkcyjny. Model przetwarza tokeny kontekstu i szacuje rozkład na następny token. Wybór powtarza się aż do zatrzymania. Mechanizm uwagi w architekturze Transformer łączy informacje o relacjach między tokenami; to nie jest ludzka uwaga. Uczenie zmienia parametry, podczas gdy wnioskowanie wykorzystuje wytrenowany model. Odpowiedź może brzmieć spójnie, a mimo to być nieprawdziwa: generowanie tekstu nie weryfikuje samodzielnie faktów.

Płynność i prawdziwość sprawdzane są oddzielnie

Halucynacja to nieuzasadniona lub nieprawidłowa treść prezentowana jako odpowiedź. Może wynikać z brakujących informacji, niejednoznaczności lub nieprawidłowo połączonych wzorców. Poproś o dowód i sprawdź oryginalny dokument, datę, jednostki i warunki. Prawdziwy cytat może nadal nie potwierdzać tej tezy. Korzystaj z bieżących źródeł w celu uzyskania aktualnych faktów, kalkulatora do obliczeń arytmetycznych i „nie potrafię określić”, gdy brakuje dowodów. Nie traktuj pewności wyrażonej w prozie jako skalibrowanego prawdopodobieństwa.

Schemat objaśniający

Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.

Kompletny przykład

Zdjęcie na etykiecie przedstawia „12 V”, ale pomija narożnik z modelem produktu. Możesz opisać widoczne napięcie, ale nie potwierdzić całkowitej kompatybilności produktu.

Spróbuj sam

1. Przeanalizuj całą fikcyjną etykietę, a następnie przyciętą.
2. Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
3. Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
4. Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
5. Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.

Wyjaśnione rozwiązanie

Oddziel widoczne informacje od założeń i poproś o pełne zdjęcie w celu identyfikacji. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.

Kiedy to podejście pomaga i jakie ma ograniczenia

Wizja, OCR i generowanie obrazu to różne zadania. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.

Sprawdź swoją wiedzę

Czy przesyłanie obrazów potwierdza natywne osadzanie multimodalne?

Nie. Potok może obejmować wizję → opis tekstowy → osadzanie tekstu.

Czy token zawsze jest słowem?

NIE; tokenizacja zależy od modelu i języka. Użyj odpowiedniego tokenizera.

Jaki wynik powinno dać to ćwiczenie?

Oddziel widoczne informacje od założeń i poproś o pełne zdjęcie w celu identyfikacji.

Pojęcia do zapamiętania

• OCR: Wyodrębnianie tekstu z obrazu.
• Token: Jednostka używana przez model do określania granic tekstu i kontekstu.
• Grunt: Oparcie odpowiedzi na weryfikowalnych dowodach.

Źródła i następny krok

• Hugging Face — kurs LLM

Aby przygotować: F06 — Chatbot, asystent, agent i system agentowy

Kontynuuj za pomocą: X02 — Wizja komputerowa, sztuczna inteligencja audio i wideo · R05 — Multimodalny RAG: dokumenty zawierają również obrazy