AI multimodală, pe înțelesul tuturor
AI multimodală poate combina text, imagini, sunet sau video.
Ce vei învăța
- Explici: modalități diferite, erori diferite
- Aplici ideea într-un exemplu: AI multimodală, pe înțelesul tuturor
- Recunoști limitele și verifici rezultatul exercițiului
AI multimodală poate combina text, imagini, sunet sau video. Fiecare modalitate aduce informație, dar și propriile erori.
Poți parcurge acest curs fără cont și fără programare. Exemplele sunt sintetice și rezultatele AI trebuie verificate.
Cum funcționează, pas cu pas
Modalități diferite, erori diferite
Un model multimodal poate procesa mai multe tipuri de intrare, dar suportul exact depinde de model și de integrare. OCR extrage text din imagini; vision poate descrie obiecte sau structuri. Audio poate fi transcris ori generat, iar video adaugă ordinea temporală. O etichetă neclară sau o unitate tăiată poate schimba complet concluzia. Păstrează originalul și localizarea informației. Pentru RAG, imaginea poate deveni text descriptiv indexat, fără embeddings nativ multimodale. Nu presupune că acceptarea fișierului înseamnă înțelegerea corectă a conținutului.
De la tokeni la răspuns
Un token este o unitate de text: uneori un cuvânt, alteori o parte de cuvânt sau punctuație. Modelul procesează tokenii din context și estimează o distribuție pentru următorul token. Selecția se repetă până la oprire. Atenția din Transformer combină informații despre relațiile dintre tokeni; nu este atenție umană. Antrenarea modifică parametrii, iar inferența folosește modelul antrenat. Un răspuns poate părea coerent fără să fie adevărat: obiectivul de generare a textului nu este o verificare independentă a faptelor.
Fluența și adevărul se verifică separat
O halucinație este un conținut nesusținut sau incorect prezentat drept răspuns. Poate apărea din lipsă de informație, ambiguitate sau combinarea greșită a unor tipare. Cere dovezi și verifică documentul original, data, unitățile și condițiile. O citare care există poate să nu susțină afirmația. Pentru date actuale folosește o sursă actuală; pentru calcule folosește un calculator; pentru lipsa datelor acceptă „nu pot determina”. Nu trata nivelul de încredere exprimat în text drept probabilitate calibrată.
Harta vizuală
Urmărește săgețile continue pentru fluxul principal. Săgețile albastre punctate furnizează date sau context; cele roz punctate arată feedback sau rezultate care revin. Culorile și formele disting modelele, stocările, deciziile și rezultatele. Pe ecrane mici, derulează orizontal pentru a urmări întreaga diagramă.
Un exemplu complet
Fotografia unei etichete arată „12 V”, dar colțul cu modelul produsului lipsește. Poți descrie tensiunea vizibilă, nu confirma compatibilitatea întregului produs.
Încearcă tu
- Analizează o etichetă fictivă completă, apoi una tăiată.
- Notează intrarea, sursa și rezultatul așteptat înainte să rulezi experimentul. Folosește doar datele fictive din exemplu.
- Urmărește etapele din diagramă. La fiecare pas scrie ce informație primește și ce produce; nu confunda rezultatul intermediar cu rezultatul final.
- Repetă cazul după eliminarea unei informații necesare sau după o intrare ambiguă. Verifică dacă sistemul cere clarificare, se oprește sau inventează.
- Compară cu soluția comentată. Păstrează configurația, data, rezultatul și o explicație pentru orice diferență. Schimbă un singur lucru și retestează.
Soluție comentată
Separă ce este vizibil de ce este presupus și cere o fotografie completă pentru identificare. Pentru a considera exercițiul reușit, poți arăta legătura dintre intrare, etapele parcurse și rezultat. Dacă lipsesc date, un răspuns prudent este mai util decât o completare inventată. Nu compara doar stilul: verifică și condițiile, sursele și operațiile efectuate.
Când merită și ce poate merge prost
Vision, OCR și generare de imagini sunt sarcini diferite. Alege această abordare când îmbunătățește o nevoie măsurată. Păstrează o variantă simplă ca referință și compară rezultatele pe aceleași intrări. Un singur exemplu reușit nu stabilește fiabilitatea în toate situațiile.
Verifică ce ai înțeles
Upload de imagine dovedește embeddings multimodale native?
Nu. Poate exista un flux vision → descriere text → embedding text.
Un token este întotdeauna un cuvânt?
Nu; tokenizarea depinde de model și limbă. Numără cu tokenizerul potrivit.
Ce rezultat trebuie să obții în acest exercițiu?
Separă ce este vizibil de ce este presupus și cere o fotografie completă pentru identificare.
Cuvinte de ținut minte
- OCR: Extragerea textului dintr-o imagine.
- Token: Unitate folosită de model pentru text și limite de context.
- Grounding: Ancorarea răspunsului în dovezi verificabile.
Surse și următorul pas
Pentru pregătire: F06 — Chatbot, asistent, agent și sistem agentic
Continuă cu: X02 — Computer vision și AI pentru audio/video · R05 — Multimodal RAG: documentele au și imagini