Comment choisir un modèle d'IA approprié
Le meilleur modèle pour vous réussit vos tâches à un coût et une latence acceptables.
Ce que vous apprendrez
- Expliquez : choisissez par tâche et par capacités
- Appliquez l'idée dans un exemple : Comment choisir un modèle d'IA approprié
- Reconnaître les limites et vérifier le résultat de l'exercice
Le meilleur modèle pour vous réussit vos tâches à un coût et une latence acceptables. Un classement général ne peut pas remplacer les tests locaux.
Vous pouvez suivre ce cours sans compte ni programmation. Les exemples utilisent des données synthétiques et les résultats de l’IA doivent être vérifiés.
Comment ça marche, étape par étape
Choisissez par tâche et capacités
Vérifiez la langue, le contexte, l'appel de l'outil, la sortie structurée et les modalités de saisie prises en charge. Comparez les modèles sur des demandes identiques en utilisant la même rubrique et un budget réaliste. L'échantillonnage des changements de température n'est pas la vérité. L'effort de raisonnement alloue l'effort aux modèles compatibles et peut augmenter le temps et les coûts ; les valeurs acceptées varient. Les modèles locaux offrent un contrôle de l'infrastructure mais nécessitent des ressources et de la maintenance. Les poids ouverts ne garantissent pas une licence sans restriction ni un code de formation complet. Les catalogues et les prix changent ; lisez la carte du modèle actuel.
Définir le succès avant d’optimiser
Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.
Le coût appartient à l'ensemble du chemin
Comptez les appels de modèle, les jetons d'entrée et de sortie, les intégrations, le reclassement, la vision et les outils. Le raisonnement peut consommer des jetons facturables sans une réponse visible aussi longue. Les frais d’indexation et les frais de conversation diffèrent. Utilisez les prix actuels plutôt qu'un numéro permanent d'un cours. Une estimation simple est le nombre de jetons/1 000 000 × prix plus les opérations supplémentaires ; les crédits d'application peuvent avoir leur propre conversion. Comparez le coût par tâche réussie, et pas seulement par appel. L'exécution parallèle peut réduire la latence tout en augmentant la consommation totale. Un budget a besoin d’une condition d’arrêt vérifiée.
Le schéma explicatif
Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.
Un exemple complet
Comparez un petit et un plus grand modèle sur dix questions roumaines, deux appels à outils et un document illustré. Vérifiez séparément la vision et le support des outils.
Essayez-le vous-même
- Créez un tableau de sélection et définissez des seuils avant de tester.
- Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
- Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
- Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
- Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.
Une solution expliquée
La comparaison inclut le succès, la latence, le coût et les capacités requises ; les modèles incompatibles sont exclus avant la notation. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.
Quand cette approche est utile et quelles sont ses limites
Les poids ouverts et gratuits ne sont pas synonymes. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.
Vérifiez vos connaissances
La température nulle garantit-elle l’exactitude ?
Non. Cela peut réduire les variations, mais une réponse stable peut toujours être fausse.
Un bon score de style prouve-t-il le succès d’un agent ?
Non. L’agent peut écrire magnifiquement après avoir utilisé le mauvais outil ou les mauvaises données.
Quel résultat cet exercice devrait-il produire ?
La comparaison inclut le succès, la latence, le coût et les capacités requises ; les modèles incompatibles sont exclus avant la notation.
Les mots à retenir
- Effort de raisonnement: Un paramètre dépendant du modèle contrôlant l’effort de raisonnement.
- Régresie / Régression: Un changement qui brise un cas précédemment correct.
- Latență / Latence: Temps jusqu'à un résultat utile.
Sources et votre prochaine étape
Pour préparer : P03 — Température, limites et effort de raisonnement