Apprentissage par renforcement pour l'alignement des agents LLMs avec des environnements interactifs : quantification et réduction du surapprentissage aux prompts
Mohamed Salim Aissi, Clement Romac, Thomas Carta, Sylvain Lamprier, Pierre-Yves Oudeyer, Olivier Sigaud, Laure Soulier, Nicolas Thome
Résumé : L'apprentissage par renforcement constitue une approche prometteuse pour aligner les connaissances des Grands Modèles de Langue (LLMs) avec des tâches de prise de décision séquentielle. Cependant, peu d'études ont analysé en profondeur l'impact de l'ajustement des LLMs par apprentissage par renforcement dans un environnement spécifique. Dans cet article, nous proposons un nouveau cadre d'analyse pour évaluer la sensibilité des LLMs aux formulations de prompt après un entraînement par renforcement dans un environnement textuel. Nos résultats montrent que la performance des LLMs se dégrade lorsqu'ils sont confrontés à des formulations de prompt différentes de celles utilisées durant la phase d'entraînement par renforcement. Par ailleurs, nous analysons l'origine de cette sensibilité en examinant les représentations internes du modèle ainsi que les tokens saillants. Enfin, nous proposons l'utilisation d'une fonction de coût contrastive afin d'atténuer cette sensibilité et d'améliorer la robustesse et les capacités de généralisation des LLMs.
Mots clés : LLM, Apprentissage par renforcement, Prise de décision séquentielle