EIFFEL: Un corpus d’expressions idiomatiques françaises pour évaluer les biais anglocentriques des GLMs
Charlotte Noel, Nicholas Asher, Olivier Gouvert, Farah Benamara, Julie Hunter
Résumé : Les GLMs multilingues populaires sont généralement entraînés sur de plus grande proportions de données anglaises que de données multilingues, ce qui soulève des questions quant à leur capacité à saisir les particularités linguistiques propres à ces autres langues ainsi qu'à saisir leurs informations culturelles spécifiques. Nous contribuons ainsi à un effort visant à accroître la sensibilité multilingue des GLMs en développant un benchmark, EIFFEL, qui teste la maîtrise des expressions idiomatiques françaises en contexte. Nous détaillons la méthodologie employée, incluant la participation de locuteurs natifs français, afin de la rendre reproductible dans d'autres langues. Nous comparons les GLMs multilingues populaires aux GLMs axés sur le français à la fois sur des benchmarks standards et sur EIFFEL. EIFFEL met en évidence les avantages d'une proportion plus élevée de données en français et montre les limites des benchmarks standards pour mesurer le multilinguisme.
Mots clés : évaluation multilingue, benchmarks multilingues, construction de corpus, ressources de langage, corpus multilingue, jeu de données TAL, crosslingual transfert