La complaisance des LLMs dans les domaines de la santé et du climat
Hreshvik Sewraj, Liana Ermakova
Résumé : L'essor des grands modèles de langage (LLMs) transforme profondément la manière dont les utilisateurs accèdent à l'information scientifique. Ces modèles peuvent cependant manifester un comportement de complaisance (sycophancy), adaptant leurs réponses à la formulation des questions plutôt qu'au raisonnement factuel. Ce phénomène est particulièrement préoccupant en santé et en climat, où une réponse incorrecte peut conduire l'utilisateur à adopter de fausses croyances. Nous adressons deux questions de recherche : RQ1 : les réponses courtes des LLMs sont-elles cohérentes avec les explications qu'ils produisent dans des domaines factuels sensibles ? RQ2 : un LLM-as-a-judge permet-il de détecter la complaisance de manière fiable par rapport à des annotations humaines indépendantes ? Pour y répondre, nous évaluons GPT-5.1 sur le dataset TREC Health Misinformation et le dataset Climate Fever, en utilisant Gemini~3 Flash Preview comme juge automatique. Nous proposons un protocole d'évaluation de la complaisance validé par une annotation humaine indépendante, atteignant un fort accord inter-annotateurs.
Mots clés : complaisance, grands modèles de langage, désinformation médicale, vérification de faits climatiques, LLM-as-judge