Évaluer et atténuer les différences de performance des GLM pour les tâches de génération de textes français et anglais
Rebecca Knowles, Fatemeh Azadi, Michel Simard, Chi-kiu Lo, Samuel Larkin, Marc Tessier, Cyril Goutte
Résumé : Les grands modèles de langue (GML) sont généralement entraînés sur des données linguistiquement déséquilibrées, ce qui mène à de meilleures performances en anglais que dans d'autres langues. Dans cet article, nous construisons manuellement un ensemble de 104 requêtes (appariées en anglais et en français) portant sur des sujets liés à la sécurité et à la réglementation, dans des contextes canadiens. Les requêtes sont associées à des réponses de référence extraites manuellement de sources fiables. Une annotation humaine des réponses de trois GML révèle que les réponses en français souffrent d'un déficit de précision factuelle, comparativement aux réponses en anglais. L'utilisation de la traduction automatique permet d'atténuer cet écart de performance, mais n'est pas toujours une solution acceptable.
Mots clés : Grands modèles de langue, sécurité et réglementation, biais linguistique