@inproceedings{Salim-Aissi-Romac-Carta-Lamprier-Oudeyer-Sigaud-Soulier-Thome:CORIA-TALN:2025,
    author = "Salim Aissi, Mohamed and Romac, Clement and Carta, Thomas and Lamprier, Sylvain and Oudeyer, Pierre-Yves and Sigaud, Olivier and Soulier, Laure and Thome, Nicolas",
    title = "Apprentissage par renforcement pour l'alignement des agents LLMs avec des environnements interactifs : quantification et r\'eduction du surapprentissage aux prompts",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 2 : traductions d'articles publi\'es",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "6-7",
    note = "",
    abstract = "L'apprentissage par renforcement constitue une approche prometteuse pour aligner les connaissances des Grands Mod\`eles de Langue (LLMs) avec des t\^aches de prise de d\'ecision s\'equentielle. Cependant, peu d'\'etudes ont analys\'e en profondeur l'impact de l'ajustement des LLMs par apprentissage par renforcement dans un environnement sp\'ecifique. Dans cet article, nous proposons un nouveau cadre d'analyse pour \'evaluer la sensibilit\'e des LLMs aux formulations de prompt apr\`es un entra{\^\i}nement par renforcement dans un environnement textuel. Nos r\'esultats montrent que la performance des LLMs se d\'egrade lorsqu'ils sont confront\'es \`a des formulations de prompt diff\'erentes de celles utilis\'ees durant la phase d'entra{\^\i}nement par renforcement. Par ailleurs, nous analysons l'origine de cette sensibilit\'e en examinant les repr\'esentations internes du mod\`ele ainsi que les tokens saillants. Enfin, nous proposons l'utilisation d'une fonction de co\^ut contrastive afin d'att\'enuer cette sensibilit\'e et d'am\'eliorer la robustesse et les capacit\'es de g\'en\'eralisation des LLMs.",
    keywords = "LLM, Apprentissage par renforcement, Prise de d\'ecision s\'equentielle",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/51.pdf"
}