Multimodalny RAG: dokumenty zawierają również obrazy
Multimodalny RAG przygotowuje informacje o obrazie do pobrania.
Czego się dowiesz
- Wyjaśnij: różne modalności, różne błędy
- Zastosuj pomysł na przykładzie: Multimodalny RAG: dokumenty zawierają również obrazy
- Rozpoznaj ograniczenia i zweryfikuj rezultaty ćwiczeń
Multimodalny RAG przygotowuje informacje o obrazie do pobrania. Sprawdź, czy potok wykorzystuje opisy tekstowe, osadzania multimodalne lub inną reprezentację.
Kroki te odnoszą się do funkcji zidentyfikowanych w kodzie aplikacji. Ten materiał nie został sprawdzony na żywo; sprawdź dokumentację i opcje w swojej wersji.
Jak to działa, krok po kroku
Różne sposoby, różne błędy
Model multimodalny może przetwarzać wiele typów danych wejściowych, ale dokładna obsługa zależy od modelu i integracji. OCR wyodrębnia tekst obrazu; wizja może opisywać przedmioty lub strukturę. Dźwięk można transkrybować lub generować, a wideo dodaje porządku czasowego. Zamazana etykieta lub przycięta jednostka może całkowicie zmienić wniosek. Zachowaj oryginał i lokalizację informacji. W RAG obraz może stać się indeksowanym tekstem opisowym bez natywnych osadzonych multimodalnych. Akceptacja pliku nie oznacza prawidłowego zrozumienia treści.
RAG uzyskuje dostęp do dowodów, a nie przekwalifikowuje
RAG oznacza generowanie wspomagane wyszukiwaniem: wyszukiwanie dostarcza odpowiednich fragmentów, zanim model odpowie. Pozyskiwanie przygotowuje dokumenty, podczas gdy wykonanie zapytania przeszukuje indeks i buduje kontekst. Model osadzania reprezentuje tekst liczbowo; model odpowiedzi zapisuje odpowiedź. Rerankery, wizja, modele graficzne i routery pełnią w razie potrzeby różne role. RAG pomaga w przypadku prywatnych lub zmieniających się informacji, ale nie gwarantuje prawdy. Korzystaj z autoryzowanego API dla sald, dokładnych zapasów lub uprawnień; stary dokument nie jest wiarygodnym źródłem obecnego stanu.
Dobre dokumenty poprzedzają dobre odpowiedzi
Przygotuj czytelny tekst, jasne nagłówki, tabele z nagłówkami i źródłami bez zbędnych duplikatów. Dzielenie dokumentu na fragmenty, które można oddzielnie odzyskiwać; nakładanie się zapewnia ciągłość pomiędzy sąsiadami. Krótki kawałek może stracić warunki, podczas gdy duży wprowadza hałas. Metadane zachowują źródło, pozycję i wersję, a także zakres dostępu, jeśli jest to wymuszone przez implementację. Przesyłanie przechowuje plik; indeksowanie umożliwia przeszukiwanie. Gdy zmieni się źródło, przed zadeklarowaniem aktualnej bazy wiedzy sprawdź, czy stare fragmenty zniknęły i czy zostały pobrane nowe.
Szczegółowe laboratorium
Sprawdź reprezentację obrazu
Obraz syntetyczny może zawierać „P-12 · 12 V”. Porównaj ekstrakcję z oryginałem: nazwa części, numer i jednostka muszą pozostać prawidłowe. W przypadku zdjęć przyciętych lub nieczytelnych odpowiedź nie powinna zawierać założonych znaków.
W przypadku tabel i diagramów zachowaj relacje między wierszami, nagłówkiem i legendą. Jeśli opis wizji pomija ważne ograniczenie, wyszukiwanie wektorowe nie jest w stanie odzyskać brakujących informacji. Sprawdź spożycie przed optymalizacją pobierania. Sprawdź aktualną konfigurację obsługiwanych plików i modeli.
Schemat objaśniający
Postępuj zgodnie ze strzałkami wskazującymi główny przepływ. Przerywane niebieskie strzałki przedstawiają dane lub kontekst; przerywane różowe strzałki pokazują opinie lub zwracane wyniki. Kolory i kształty wyróżniają modele, sklepy, decyzje i wyniki. Opisy wizualne i odniesienia do źródeł są indeksowane obok tekstu. Model odpowiedzi jest opcjonalny. Pobieranie zwraca dowód. Jeśli model odpowiedzi jest włączony, tworzy on również odpowiedź; odzyskane dowody nadal wymagają sprawdzenia. Na małym ekranie przewijaj w poziomie, aby zobaczyć cały schemat.
Kompletny przykład
Instrukcja zawiera schemat i etykietę 12 V. Vision może wyodrębnić opis, który można przeszukiwać. Lokalny szablon wysyła zapytanie do vector_search; przesyłanie nie stanowi dowodu natywnego odtwarzania obrazu do obrazu.
Spróbuj sam
- Wybierz wizję multimodalną i kompatybilną; zindeksuj syntetyczny obraz i sprawdź jego opis przed udzieleniem odpowiedzi.
- Przed rozpoczęciem eksperymentu zapisz dane wejściowe, źródło i oczekiwany wynik. W przykładzie użyj wyłącznie fikcyjnych danych.
- Postępuj zgodnie z etapami diagramu. Na każdym etapie zapisuj, jakie informacje zostały otrzymane i wyprodukowane; nie myl produktu pośredniego z efektem końcowym.
- Powtórz po usunięciu niezbędnych informacji lub wprowadzeniu niejednoznaczności. Sprawdź, czy system wyjaśnia, zatrzymuje lub wymyśla odpowiedź.
- Porównaj z objaśnionym rozwiązaniem. Zachowaj konfigurację, datę, wynik i wyjaśnienie różnic. Zmień jedną rzecz i przetestuj ponownie.
Wyjaśnione rozwiązanie
Odpowiedź wykorzystuje poprawnie wyodrębniony tekst lub opisy i flagi o niewystarczającej czytelności. Pomyślne ćwiczenie pozwala pokazać związek między danymi wejściowymi, etapami i wynikiem. Gdy brakuje informacji, bardziej użyteczna jest ostrożna odpowiedź niż wymyślane szczegóły. Porównaj więcej niż styl: sprawdź także warunki, źródła i operacje.
Kiedy to podejście pomaga i jakie ma ograniczenia
Nie wnioskuj o wymiarach ani zgodności na podstawie niejednoznacznych obrazów. Wybierz to podejście, jeśli poprawia ono zmierzoną potrzebę. Zachowaj prostą linię bazową i porównaj wyniki, korzystając z identycznych danych wejściowych. Jeden udany przykład nie gwarantuje niezawodności w każdej sytuacji.
Sprawdź swoją wiedzę
Czy przesyłanie obrazów potwierdza natywne osadzanie multimodalne?
Nie. Potok może obejmować wizję → opis tekstowy → osadzanie tekstu.
Czy RAG zmienia parametry LLM?
Nie. Dostarcza kontekst w czasie żądania; zmiany parametrów należą do szkolenia.
Jaki wynik powinno dać to ćwiczenie?
Odpowiedź wykorzystuje poprawnie wyodrębniony tekst lub opisy i flagi o niewystarczającej czytelności.
Pojęcia do zapamiętania
- OCR: Wyodrębnianie tekstu z obrazu.
- Wyszukiwanie: Znajdowanie odpowiednich informacji w dostępnych źródłach.
- Kawałek: Fragment dokumentu, który można pobrać osobno.
Źródła i następny krok
Aby przygotować: R04 — Zmień rangę RAG: najpierw lepszy dowód