Ingegneria del contesto: cosa arriva al modello?

L'ingegneria del contesto seleziona ciò che vede il modello. L'obiettivo è la pertinenza, non riempire la finestra di contesto.

Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.

Come funziona, passo dopo passo

Il contesto è il banco di lavoro

Il contesto include istruzioni, richiesta corrente, cronologia rilevante, documenti recuperati e risultati dello strumento. La finestra di contesto ha una capacità limitata; riservare spazio anche per la risposta. Una quantità maggiore di testo non migliora automaticamente la precisione. Informazioni irrilevanti e contraddizioni possono nascondere prove importanti. Riassumere attentamente la cronologia della conversazione e preservare l'origine dei fatti. Lo stato descrive l'esecuzione corrente, un checkpoint salva un punto ripristinabile e la memoria persistente conserva le informazioni tra le esecuzioni. Si tratta di diversi meccanismi gestiti dall'applicazione.

RAG accede alle prove, non riqualifica

RAG significa generazione aumentata dal recupero: il recupero fornisce passaggi rilevanti prima che il modello risponda. L'inserimento prepara i documenti, mentre l'esecuzione delle query ricerca nell'indice e crea il contesto. Un modello di incorporamento rappresenta il testo numericamente; il modello di risposta scrive la risposta. I modelli di riclassificazione, visione, grafico e router svolgono ruoli diversi quando necessario. RAG aiuta con informazioni private o mutevoli ma non garantisce la verità. Utilizzare un'API autorizzata per saldi, inventario esatto o autorizzazioni; un vecchio documento non è una fonte affidabile per lo stato attuale.

Controllare l'accesso prima dell'uso

Le autorizzazioni devono essere applicate dai server e dal livello dati. Non lasciare che sia il modello a decidere se un utente può vedere un documento. Filtra le fonti prima che entrino nel contesto, non dopo aver generato la risposta. Utilizza credenziali di accesso minimo, tienile lontane da prompt, screenshot e codice del browser e ruota le chiavi esposte. Una lista consentita di domini widget non sostituisce l'autenticazione API. L'autenticazione ti identifica; l'autorizzazione determina le operazioni e i dati che puoi utilizzare. Prova anche l'accesso negato.

Lo schema esplicativo

Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.

Un esempio completo

Per una domanda di reso, mantieni la politica e il prodotto attuali, non dieci pagine di discussione sui colori. Se due policy sono in conflitto, contrassegna le versioni anziché mescolarle.

Provalo tu stesso

1. Riduci dieci paragrafi di contesto a ciò che richiede la domanda.
2. Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
3. Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
4. Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
5. Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.

Una soluzione spiegata

Il modello riceve istruzioni, domande e prove pertinenti con fonte e versione conservate. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.

Quando è utile e quali sono i suoi limiti

Il riepilogo può perdere condizioni; controlla cosa è stato rimosso. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.

Verifica ciò che hai imparato

Un checkpoint è una memoria utente permanente?

No. Il salvataggio di una corsa non implica il mantenimento delle preferenze tra le conversazioni.

RAG modifica i parametri LLM?

No. Fornisce il contesto della richiesta-ora; le modifiche ai parametri appartengono all'addestramento.

Quale risultato dovrebbe produrre questo esercizio?

Il modello riceve istruzioni, domande e prove pertinenti con fonte e versione conservate.

Termini da ricordare

• Punto di controllo: stato salvato utilizzato per riprendere un'esecuzione.
• Recupero: trovare informazioni rilevanti in fonti accessibili.
• Autorizzare/Autorizzazione: verifica del diritto di accesso a un'operazione o risorsa.

Fonti e il prossimo passo

• LangGraph — flussi di lavoro e agenti
• Lewis et al. — Generazione aumentata di recupero
• OWASP — Iniezione di prompt

Per preparare: P01 — Ingegneria rapida senza formule magiche