Prompt, RAG o messa a punto?

Questi metodi cambiano cose diverse.

Cosa imparerai

  • Spiegare: istruzioni, conoscenza e adattamento
  • Applica l'idea in un esempio: Prompt, RAG o messa a punto?
  • Riconoscere i limiti e verificare il risultato dell'esercizio

Questi metodi cambiano cose diverse. Scegli in base se il problema riguarda istruzioni, fatti o comportamenti ripetuti.

Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.

Come funziona, passo dopo passo

Istruzioni, conoscenza e adattamento

Un prompt modifica le istruzioni e gli esempi della richiesta. RAG modifica le evidenze disponibili senza modificare il modello. La messa a punto regola i parametri per comportamenti o compiti ripetuti e necessita di dati e valutazioni di qualità. LoRA/PEFT addestra un set di parametri più piccolo per un adattamento efficiente. La distillazione trasferisce il comportamento da un modello all'altro; la quantizzazione riduce la precisione numerica per un'inferenza efficiente, con dei compromessi. Nessuno ripara automaticamente le fonti errate. Per le regole che cambiano frequentemente, l'aggiornamento dei documenti è solitamente più semplice da verificare rispetto alla riqualificazione.

RAG accede alle prove, non riqualifica

RAG significa generazione aumentata dal recupero: il recupero fornisce passaggi rilevanti prima che il modello risponda. L'inserimento prepara i documenti, mentre l'esecuzione delle query ricerca nell'indice e crea il contesto. Un modello di incorporamento rappresenta il testo numericamente; il modello di risposta scrive la risposta. I modelli di riclassificazione, visione, grafico e router svolgono ruoli diversi quando necessario. RAG aiuta con informazioni private o mutevoli ma non garantisce la verità. Utilizzare un'API autorizzata per saldi, inventario esatto o autorizzazioni; un vecchio documento non è una fonte affidabile per lo stato attuale.

Definire il successo prima di ottimizzare

Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.

Lo schema esplicativo

Prompt, RAG o messa a punto? Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Connessioni: Problema e criteri di successo → Scegli l'azione successiva; Compito, vincoli e formato di output → Agente/LLM; Agente/LLM → Confrontare con i risultati attesi; Conoscenza RAG → Agente/LLM; Regolazione fine (esterna) → Comportamento del modello adattato; Comportamento del modello adattato → Confrontare con i risultati attesi; Capacità e vincoli → Scegli l'azione successiva; Scegli l'azione successiva → Compito, vincoli e formato di output (Istruzioni); Scegli l'azione successiva → Conoscenza RAG (Conoscenza); Scegli l'azione successiva → Regolazione fine (esterna) (Comportamento (esterno)). P07 · Mappa delle relazioni Prompt, RAG o messa a punto? Ingresso Problema e criteri di successo Dati Capacità e vincoli Decisione/controllo Scegli l'azione successiva Dati Compito, vincoli e formato di output Memorizza/indicizza Conoscenza RAG Elaborazione Regolazione fine (esterna) Modello/agente AI Agente/LLM Modello/agente AI Comportamento del modello adattato Decisione/controllo Confrontare con i risultati attesi Istruzioni Conoscenza Comportamento (esterno) Flusso principale Dati e contesto Feedback e reso

Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.

Un esempio completo

Un tono eccessivamente tecnico necessita di suggerimenti più chiari. Una nuova politica ha bisogno di fonti e RAG aggiornati. Una formattazione specialistica ripetuta può giustificare una messa a punto dopo aver valutato opzioni più semplici.

Provalo tu stesso

  1. Scegli una soluzione per tono, stock live, una nuova politica e formattazione ripetuta.
  2. Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
  3. Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
  4. Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
  5. Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.

Una soluzione spiegata

Utilizzare le richieste per i requisiti, i RAG per i documenti e l'adattamento solo con dati e valutazioni adeguati. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.

Quando è utile e quali sono i suoi limiti

La messa a punto non è un database attivo. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.

Verifica ciò che hai imparato

La messa a punto è la prima scelta per le azioni attuali?

No. Utilizza una fonte live autorizzata per informazioni che cambiano rapidamente.

RAG modifica i parametri LLM?

No. Fornisce il contesto della richiesta-ora; le modifiche ai parametri appartengono all'addestramento.

Quale risultato dovrebbe produrre questo esercizio?

Utilizzare le richieste per i requisiti, i RAG per i documenti e l'adattamento solo con dati e valutazioni adeguati.

Termini da ricordare

  • Ritocchi: Adattamento dei parametri del modello utilizzando esempi specifici dell'attività.
  • Recupero: trovare informazioni rilevanti in fonti accessibili.
  • Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.

Fonti e il prossimo passo

Per preparare: P06 — Ragionamento e verifica