Apprentissage par renforcement, robotique et recherche actuelle

La recherche en IA explore les agents d’apprentissage, les modèles d’environnement et les combinaisons de règles et d’apprentissage. Séparez les démonstrations des hypothèses.

Il s’agit d’un laboratoire conceptuel ou externe. Cela ne suppose pas que l’application expose tous les contrôles décrits.

Comment ça marche, étape par étape

Apprendre des actions et des récompenses

Dans l'apprentissage par renforcement, un agent observe un environnement, sélectionne des actions et reçoit des récompenses. Une politique décrit la sélection des actions ; l'objectif est la performance cumulative plutôt que la seule récompense immédiate. Une récompense mal conçue peut encourager un comportement indésirable. Les robots ajoutent des capteurs, des actionneurs et des contraintes physiques. Un modèle mondial tente de modéliser la façon dont l’environnement change, mais les prédictions doivent être validées. Le feedback humain peut aider à adapter les comportements sans garantir la sécurité. Un agent LLM utilisant des outils n'est pas automatiquement formé en ligne avec RL.

Comment l'apprentissage change un modèle

Les données d'entraînement sont l'ensemble d'exemples utilisés pour ajuster les paramètres du modèle. L'apprentissage supervisé inclut une cible, telle que le « spam ». L'apprentissage non supervisé trouve une structure, comme des groupes de clients. L'apprentissage auto-supervisé crée des objectifs à partir de données, par exemple prédire le texte suivant. La validation aide à choisir les paramètres ; l'ensemble de test reste séparé jusqu'à l'évaluation finale. Un modèle qui mémorise des exemples et échoue sur de nouvelles données est surajusté. Une répartition appropriée empêche les informations de l'ensemble de test de se retrouver dans les données d’entraînement.

Définir le succès avant d’optimiser

Préparer les demandes représentatives et les réponses ou propriétés attendues. Incluez les cas ordinaires, les ambiguïtés, les données manquantes et les erreurs d'outils. Pour RAG, mesurez la récupération des preuves séparément de l’exactitude des réponses. Recall@k mesure la part de preuves pertinentes trouvées dans les k premiers résultats ; précision@k mesure la part des résultats renvoyés qui sont pertinents. Pour les agents, suivez également les actions, les autorisations et les arrêts. Un LLM en tant que juge peut accélérer l'évaluation mais doit être calibré par rapport aux humains. Ne modifiez pas simultanément l'invite, le modèle et l'index si vous souhaitez comprendre ce qui a amélioré les résultats.

Le schéma explicatif

Suivez les flèches pleines pour le flux principal. Les flèches bleues en pointillés fournissent des données ou un contexte ; les flèches roses en pointillés affichent des commentaires ou des résultats renvoyés. Les couleurs et les formes distinguent les modèles, les magasins, les décisions et les sorties. L'apprentissage par renforcement et la robotique sont des sujets externes ; La formation axée sur la récompense est distincte de l'inférence d'agent ordinaire. Sur un petit écran, faites défiler horizontalement pour suivre le schéma complet.

Un exemple complet

Dans un labyrinthe, récompenser la sortie diffère de récompenser le mouvement. Un modèle mondial peut prédire les transitions, tandis que les règles symboliques interdisent les zones. La robotique ajoute des limites physiques.

Essayez-le vous-même

1. Concevez des récompenses en labyrinthe et identifiez un moyen de les exploiter.
2. Enregistrez l’entrée, la source et le résultat attendu avant d’exécuter l’expérience. Utilisez uniquement les données fictives de l'exemple.
3. Suivez les étapes du diagramme. À chaque étape, enregistrez les informations reçues et produites ; ne confondez pas le résultat intermédiaire avec le résultat final.
4. Répétez après avoir supprimé les informations nécessaires ou rendu la saisie ambiguë. Vérifiez si le système clarifie, arrête ou invente une réponse.
5. Comparez avec la solution expliquée. Conservez la configuration, la date, le résultat et une explication des différences. Changez une chose et retestez.

Une solution expliquée

La politique suit l'objectif fixé et est testée dans de nouvelles situations ; la performance de référence n’établit pas l’AGI. Un exercice réussi vous permet de montrer le lien entre les contributions, les étapes et les résultats. Lorsqu’une information manque, une réponse prudente est plus utile que des détails inventés. Comparez bien plus que le style : vérifiez également les conditions, les sources et les opérations.

Quand cette approche est utile et quelles sont ses limites

Les systèmes neuro-symboliques, les modèles mondiaux et l’AGI ne sont pas synonymes. Choisissez cette approche lorsqu’elle améliore un besoin mesuré. Gardez une base de référence simple et comparez les résultats en utilisant des entrées identiques. Un exemple réussi n’établit pas la fiabilité dans toutes les situations.

Vérifiez vos connaissances

Est-ce que chaque agent utilisant un outil apprend avec RL au cours d'une conversation ?

Non. L’utilisation d’un modèle formé et le recyclage sont des processus distincts.

Pourquoi ne pas évaluer uniquement sur les données d'entraînement ?

Nous voulons des performances sur des situations nouvelles, pas des preuves de mémorisation.

Quel résultat cet exercice devrait-il produire ?

La politique suit l'objectif fixé et est testée dans de nouvelles situations ; la performance de référence n’établit pas l’AGI.

Les mots à retenir

• Politique: Une règle apprise pour sélectionner les actions.
• Surapprentissage: Le modèle correspond de trop près aux exemples qu'il a vus.
• Régresie / Régression: Un changement qui brise un cas précédemment correct.

Sources et votre prochaine étape

• Hugging Face — Cours Deep RL
• scikit-learn — Guide de l'utilisateur
• LangGraph — Flux de travail et agents

Pour préparer : X04 — Adapter et servir les modèles