Visione artificiale, intelligenza artificiale audio e video
Il riconoscimento e la generazione sono compiti diversi.
Cosa imparerai
- Spiegare: modalità diverse, errori diversi
- Applica l'idea in un esempio: visione artificiale, intelligenza artificiale audio e video
- Riconoscere i limiti e verificare il risultato dell'esercizio
Il riconoscimento e la generazione sono compiti diversi. Audio e video necessitano di controlli dell'ordine temporale e dei contenuti.
Questo è un laboratorio concettuale o esterno. Non presuppone che l'applicazione esponga tutti i controlli descritti.
Come funziona, passo dopo passo
Modalità diverse, errori diversi
Un modello multimodale può elaborare più tipi di input, ma il supporto esatto dipende dal modello e dall'integrazione. L'OCR estrae il testo dell'immagine; la visione può descrivere oggetti o strutture. L'audio può essere trascritto o generato, mentre il video aggiunge l'ordine temporale. Un'etichetta sfocata o un'unità ritagliata possono cambiare completamente la conclusione. Conserva l'originale e la posizione delle informazioni. In RAG, un'immagine può diventare testo descrittivo indicizzato senza incorporamenti multimodali nativi. L'accettazione del file non implica la corretta comprensione del contenuto.
Come l'apprendimento cambia un modello
I dati di training sono l'insieme di esempi utilizzati per regolare i parametri del modello. L'apprendimento supervisionato include un obiettivo, come lo "spam". L'apprendimento non supervisionato trova strutture, come i gruppi di clienti. L'apprendimento autosuperato crea obiettivi dai dati, ad esempio prevedendo il testo successivo. La convalida aiuta a scegliere le impostazioni; il set di test rimane separato fino alla valutazione finale. Un modello che memorizza esempi e fallisce sui nuovi dati è eccessivo. Una suddivisione corretta impedisce che le informazioni provenienti dal set di test si diffondano nell'addestramento.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
La visione classifica le immagini, il rilevamento individua i prodotti e l'OCR legge le etichette. La sintesi vocale trascrive le richieste, la sintesi vocale le esprime e il video segue le modifiche tra i fotogrammi.
Provalo tu stesso
- Progetta input e output per un'etichetta, un messaggio vocale e una clip di installazione.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Scegli l'output richiesto: categoria, riquadro di delimitazione, testo o sequenza; verificare unità, nomi e tempi. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Una trascrizione potrebbe riconoscere erroneamente l'identificatore del prodotto. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
Il caricamento delle immagini dimostra incorporamenti multimodali nativi?
No. La pipeline può essere visione → descrizione testuale → incorporamento testo.
Perché non valutare solo sui dati di allenamento?
Vogliamo prestazioni in situazioni nuove, non prove di memorizzazione.
Quale risultato dovrebbe produrre questo esercizio?
Scegli l'output richiesto: categoria, riquadro di delimitazione, testo o sequenza; verificare unità, nomi e tempi.
Termini da ricordare
- OCR: Estrazione del testo da un'immagine.
- Sovradattamento: Il modello si adatta troppo agli esempi che ha visto.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
Fonti e il prossimo passo
Per preparare: X01: machine learning classico e dati strutturati