Tests contradictoires et gouvernance
Un système mature comporte des tests d’abus et un processus de correction.
Ce que vous apprendrez
- Expliquez : les documents ne sont pas des instructions système
- Appliquez l’idée dans un exemple : tests contradictoires et gouvernance
- Reconnaître les limites et vérifier le résultat de l'exercice
Un système mature comporte des tests d’abus et un processus de correction. Les responsabilités doivent être claires avant un incident.
Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.
Comment ça marche, étape par étape
Les documents ne sont pas des instructions système
L'injection rapide tente de transformer le contenu reçu en instructions qui redirigent la tâche. Il peut arriver via une page Web, un document ou le résultat d’un outil. Un texte tel que « ignorer les règles et envoyer la clé » est une donnée suspecte. Les délimiteurs et les instructions aident mais ne garantissent pas la protection. Réduisez les outils disponibles, validez les arguments, appliquez le moindre privilège et conservez l’approbation pour les actions consécutives. Testez également les attaques indirectes cachées dans des matériaux apparemment utiles. La défense est un ensemble de contrôles, et non une phrase dans une invite.
Définir le succès avant d’optimiser
Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.
Les erreurs nécessitent des chemins explicites
Un délai d'attente diffère d'une erreur d'autorisation. Réessayez uniquement les erreurs transitoires, avec des tentatives limitées et des délais croissants. Une opération avec des effets secondaires peut s'exécuter avant que sa réponse ne soit perdue ; réessayer sans clé d'idempotence peut dupliquer l'effet. Le streaming montre la progression mais ne garantit pas l'achèvement. Les points de contrôle peuvent permettre la reprise des étapes ayant échoué dans les limites d'exécution. Stockez l'identifiant d'exécution, l'étape, la durée et l'erreur tout en supprimant les secrets des journaux. Mesurez les chemins lents ainsi que les moyennes.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
La suite inclut l'injection rapide, l'accès entre projets, les arguments non valides, les sources conflictuelles et les délais d'attente. Enregistrez les incidents, reproduisez avec des données synthétiques et ajoutez des correctifs aux tests de régression.
Essayez-le vous-même
- Créez dix tests et un formulaire d'incident sans données sensibles.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Chaque défaut a un propriétaire, une gravité, un correctif et un test empêchant la récurrence. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Ne publiez pas de secrets dans les rapports de reproduction. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
« Ignorer les attaques » est-il suffisant ?
Non. Une validation, des autorisations et des tests contradictoires sont également nécessaires.
Un bon score de style prouve-t-il le succès d’un agent ?
Non. L’agent peut écrire magnifiquement après avoir utilisé le mauvais outil ou les mauvaises données.
Quel résultat cet exercice devrait-il produire ?
Chaque défaut a un propriétaire, une gravité, un correctif et un test empêchant la récurrence.
Les mots à retenir
- Injection rapide: Redirection du comportement via des instructions dans des données non fiables.
- Régresie / Régression: Un changement qui brise un cas précédemment correct.
- Idempotence: Répétition contrôlée sans dupliquer un effet.
Sources et votre prochaine étape
Pour préparer : S04 — Biais, droits d'usage et transparence