Sur l’équité politique des grands modèles de langue multilingues
Paul Lerner, François Yvon
Résumé : Les grands modèles de langue (LLM) sont de plus en plus utilisés, y compris pour des applications à visée politique, mais leur équité dans ces contextes a été peu étudiée. Nous analysons l’équité de la traduction produite par des grands modèles de langues (LLM) pour des discours issus de divers partis politiques. Nous constatons que la qualité de traduction des modèles post-entraînés est corrélée à la perplexité du LLM pré-entraîné correspondant. Ce résultat suggère que les biais politiques des LLM proviennent de leur pré-entraînement, et que ces biais sont peu affectés par le post-entraînement. En nous appuyant sur cette corrélation, nous utilisons les mesures de perplexité, qui ne nécessitent pas de traduction de référence, pour étendre l’étude des biais politiques de plusieurs LLM sur des textes reflétant diverses opinions politiques dans davantage de langues.
Mots clés : équité, grand modèle de langue, politique, multilinguisme