Jetons, crédits, budgets et coût total
Le prix d’un appel n’est pas le coût d’une tâche complète.
Ce que vous apprendrez
- Expliquez : le coût appartient à l'ensemble du chemin
- Appliquez l'idée dans un exemple : jetons, crédits, budgets et coût total
- Reconnaître les limites et vérifier le résultat de l'exercice
Le prix d’un appel n’est pas le coût d’une tâche complète. Comptez l'indexation, la conversation et les outils séparément.
Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.
Comment ça marche, étape par étape
Le coût appartient à l'ensemble du chemin
Comptez les appels de modèle, les jetons d'entrée et de sortie, les intégrations, le reclassement, la vision et les outils. Le raisonnement peut consommer des jetons facturables sans une réponse visible aussi longue. Les frais d’indexation et les frais de conversation diffèrent. Utilisez les prix actuels plutôt qu'un numéro permanent d'un cours. Une estimation simple est le nombre de jetons/1 000 000 × prix plus les opérations supplémentaires ; les crédits d'application peuvent avoir leur propre conversion. Comparez le coût par tâche réussie, et pas seulement par appel. L'exécution parallèle peut réduire la latence tout en augmentant la consommation totale. Un budget a besoin d’une condition d’arrêt vérifiée.
Choisissez par tâche et capacités
Vérifiez la langue, le contexte, l'appel de l'outil, la sortie structurée et les modalités de saisie prises en charge. Comparez les modèles sur des demandes identiques en utilisant la même rubrique et un budget réaliste. L'échantillonnage des changements de température n'est pas la vérité. L'effort de raisonnement alloue l'effort aux modèles compatibles et peut augmenter le temps et les coûts ; les valeurs acceptées varient. Les modèles locaux offrent un contrôle de l'infrastructure mais nécessitent des ressources et de la maintenance. Les poids ouverts ne garantissent pas une licence sans restriction ni un code de formation complet. Les catalogues et les prix changent ; lisez la carte du modèle actuel.
Définir le succès avant d’optimiser
Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
En utilisant des prix fictifs de 2 par million d'entrées et 10 sorties, 10 000 entrées et 1 000 sorties coûtent 0,03 unités monétaires avant outils. Il s’agit de valeurs d’exercice et non de prix actuels.
Essayez-le vous-même
- Estimez trois appels et une exécution d’indexation, puis le coût par tâche réussie.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
Calculez 0,02 + 0,01 et ajoutez la consommation supplémentaire séparément ; comparer avec l’utilisation réelle de l’organisation. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Les crédits d'application et la devise du fournisseur peuvent avoir des conversions différentes. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
Des appels plus simultanés sont-ils automatiquement moins chers ?
Non. Le temps écoulé et la consommation totale sont des quantités différentes.
La température nulle garantit-elle l’exactitude ?
Non. Cela peut réduire les variations, mais une réponse stable peut toujours être fausse.
Quel résultat cet exercice devrait-il produire ?
Calculez 0,02 + 0,01 et ajoutez la consommation supplémentaire séparément ; comparer avec l’utilisation réelle de l’organisation.
Les mots à retenir
- Latență / Latence: Temps jusqu'à un résultat utile.
- Effort de raisonnement: Un paramètre dépendant du modèle contrôlant l’effort de raisonnement.
- Régresie / Régression: Un changement qui brise un cas précédemment correct.
Sources et votre prochaine étape
Pour préparer : E04 — Observabilité et débogage