Test contraddittorio e governance
Un sistema maturo prevede test sugli abusi e un processo di riparazione.
Cosa imparerai
- Spiega: i documenti non sono istruzioni di sistema
- Applica l'idea in un esempio: test contraddittori e governance
- Riconoscere i limiti e verificare il risultato dell'esercizio
Un sistema maturo prevede test sugli abusi e un processo di riparazione. Le responsabilità dovrebbero essere chiare prima di un incidente.
Puoi seguire questo corso senza un account o una programmazione. Gli esempi utilizzano dati sintetici e i risultati dell’intelligenza artificiale devono essere verificati.
Come funziona, passo dopo passo
I documenti non sono istruzioni di sistema
La prompt injection tenta di trasformare il contenuto ricevuto in istruzioni che reindirizzano l'attività. Può arrivare attraverso una pagina web, un documento o il risultato di uno strumento. Testi come "ignora le regole e invia la chiave" sono dati sospetti. I delimitatori e le istruzioni aiutano ma non garantiscono la protezione. Riduci gli strumenti disponibili, convalida le argomentazioni, applica i privilegi minimi e mantieni l'approvazione per le azioni consequenziali. Prova anche gli attacchi indiretti nascosti in materiali apparentemente utili. La difesa è un insieme di controlli, non una frase in un prompt.
Definire il successo prima di ottimizzare
Preparare richieste rappresentative e risposte o proprietà previste. Includere casi ordinari, ambiguità, dati mancanti ed errori dello strumento. Per RAG, misurare il recupero delle prove separatamente dalla correttezza della risposta. Recall@k misura la quota di prove rilevanti trovate nei primi k risultati; Precision@k misura la quota di risultati restituiti che sono rilevanti. Per gli agenti, monitora anche azioni, autorizzazioni e arresti. Un LLM come giudice può accelerare la valutazione ma necessita di una calibrazione rispetto agli esseri umani. Non modificare prompt, modello e indice contemporaneamente se vuoi capire quali risultati migliorati.
Gli errori necessitano di percorsi espliciti
Un timeout è diverso da un errore di autorizzazione. Riprova solo errori temporanei, con tentativi limitati e ritardi crescenti. Un'operazione con effetti collaterali può essere eseguita prima che la sua risposta venga persa; riprovare senza una chiave di idempotenza può duplicare l'effetto. Lo streaming mostra l'avanzamento ma non garantisce il completamento. I checkpoint possono consentire la ripresa delle fasi non riuscite entro i limiti di runtime. Memorizza l'identificatore dell'esecuzione, la fase, la durata e l'errore rimuovendo i segreti dai log. Misura i percorsi lenti e le medie.
Lo schema esplicativo
Seguire le frecce continue per il flusso principale. Le frecce blu tratteggiate forniscono dati o contesto; le frecce rosa tratteggiate mostrano feedback o risultati restituiti. Colori e forme distinguono modelli, negozi, decisioni e risultati. Su schermi piccoli, scorri in orizzontale per seguire l’intero schema.
Un esempio completo
La suite include prompt injection, accesso tra progetti, argomenti non validi, origini in conflitto e timeout. Registra gli incidenti, riproducili con dati sintetici e aggiungi correzioni ai test di regressione.
Provalo tu stesso
- Crea dieci test e un modulo di incidente senza dati sensibili.
- Registrare l'input, la fonte e il risultato atteso prima di eseguire l'esperimento. Utilizzare solo i dati fittizi nell'esempio.
- Seguire le fasi del diagramma. Ad ogni passaggio registrare quali informazioni vengono ricevute e prodotte; non confondere il risultato intermedio con il risultato finale.
- Ripetere dopo aver rimosso le informazioni necessarie o reso ambiguo l'input. Controlla se il sistema chiarisce, ferma o inventa una risposta.
- Confrontare con la soluzione spiegata. Conserva la configurazione, la data, il risultato e una spiegazione delle differenze. Cambia una cosa e riprova.
Una soluzione spiegata
Ogni difetto ha un proprietario, una gravità, una correzione e un test che ne previene il ripetersi. Un esercizio riuscito ti consente di mostrare la connessione tra input, fasi e risultato. Quando mancano le informazioni, una risposta cauta è più utile dei dettagli inventati. Confrontare non solo stile: verificare anche condizioni, fonti e operazioni.
Quando è utile e quali sono i suoi limiti
Non pubblicare segreti nei rapporti sulla riproduzione. Scegli questo approccio quando migliora un bisogno misurato. Mantieni una linea di base semplice e confronta i risultati utilizzando input identici. Un esempio di successo non stabilisce l’affidabilità in ogni situazione.
Verifica ciò che hai imparato
È sufficiente “ignorare gli attacchi” da solo?
No. Sono necessari anche validazione, autorizzazioni e test contraddittori.
Un buon punteggio di stile dimostra il successo dell'agente?
No. L'agente potrebbe scrivere magnificamente dopo aver utilizzato lo strumento o i dati sbagliati.
Quale risultato dovrebbe produrre questo esercizio?
Ogni difetto ha un proprietario, una gravità, una correzione e un test che ne previene il ripetersi.
Termini da ricordare
- Iniezione immediata: Reindirizzamento del comportamento tramite istruzioni in dati non attendibili.
- Regresia/Regressione: una modifica che interrompe un caso precedentemente corretto.
- Idempotenza: Ripetizione controllata senza duplicare un effetto.
Fonti e il prossimo passo
Per preparare: S04 — Pregiudizi, diritti di utilizzo e trasparenza