Optimisation et opérations
Optimiser un besoin constaté : latence, coût ou pannes.
Ce que vous apprendrez
- Expliquer : les erreurs nécessitent des chemins explicites
- Appliquer l'idée dans un exemple : Optimisation et opérations
- Reconnaître les limites et vérifier le résultat de l'exercice
Optimiser un besoin constaté : latence, coût ou pannes. Les configurations plus complexes ne sont pas automatiquement plus robustes.
Il s’agit d’un laboratoire conceptuel ou externe. Cela ne suppose pas que l’application expose tous les contrôles décrits.
Comment ça marche, étape par étape
Les erreurs nécessitent des chemins explicites
Un délai d'attente diffère d'une erreur d'autorisation. Réessayez uniquement les erreurs transitoires, avec des tentatives limitées et des délais croissants. Une opération avec des effets secondaires peut s'exécuter avant que sa réponse ne soit perdue ; réessayer sans clé d'idempotence peut dupliquer l'effet. Le streaming montre la progression mais ne garantit pas l'achèvement. Les points de contrôle peuvent permettre la reprise des étapes ayant échoué dans les limites d'exécution. Stockez l'identifiant d'exécution, l'étape, la durée et l'erreur tout en supprimant les secrets des journaux. Mesurez les chemins lents ainsi que les moyennes.
Le coût appartient à l'ensemble du chemin
Comptez les appels de modèle, les jetons d'entrée et de sortie, les intégrations, le reclassement, la vision et les outils. Le raisonnement peut consommer des jetons facturables sans une réponse visible aussi longue. Les frais d’indexation et les frais de conversation diffèrent. Utilisez les prix actuels plutôt qu'un numéro permanent d'un cours. Une estimation simple est le nombre de jetons/1 000 000 × prix plus les opérations supplémentaires ; les crédits d'application peuvent avoir leur propre conversion. Comparez le coût par tâche réussie, et pas seulement par appel. L'exécution parallèle peut réduire la latence tout en augmentant la consommation totale. Un budget a besoin d’une condition d’arrêt vérifiée.
Définir le succès avant d’optimiser
Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
Un cache de stratégie peut réduire la latence, mais le stock réel doit expirer rapidement. Réessayer aide à un délai d'attente transitoire, pas à une clé invalide. La solution de repli doit préserver les conditions et l’accès.
Essayez-le vous-même
- Conception de nouvelles tentatives limitées, d'expiration du cache et de repli conceptuel.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Mesurez avant et après, incluez les échecs et vérifiez les régressions. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Ne présumez pas que le produit expose toutes ces options dans son interface. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
Un délai d'attente prouve-t-il que l'opération n'a pas été exécutée ?
Non. Vérifiez l’état avant de réessayer une action avec des effets secondaires.
Des appels plus simultanés sont-ils automatiquement moins chers ?
Non. Le temps écoulé et la consommation totale sont des quantités différentes.
Quel résultat cet exercice devrait-il produire ?
Mesurez avant et après, incluez les échecs et vérifiez les régressions.
Les mots à retenir
- Idempotence: Répétition contrôlée sans dupliquer un effet.
- Latență / Latence: Temps jusqu'à un résultat utile.
- Régresie / Régression: Un changement qui brise un cas précédemment correct.
Sources et votre prochaine étape
Pour préparer : E05 — Jetons, crédits, budgets et coût total