Q-COMP : un jeu de données pour l’évaluation du traitement compositionnel de la quantification dans les grands modèles de langue
Shuyang Sun, Antoine Venant
Résumé : Nous cherchons à déterminer si la manière dont les grands modèles de langue traitent les expressions quantifiées est cohérente avec les modèles de la sémantique formelle. Nous générons automatiquement des descriptions comportant un enchâssement récursif de quantifieurs, accompagnées de leur dénotation dans différents contextes. Nous constituons un jeu de données de 14 160 triplets description/contexte/interprétation, avec une profondeur d’enchâssement de 1 à 4, et évaluons les modèles sur trois tâches : (1) identifier tous les objets correspondant à la description, (2) en identifier un, et (3) vérifier la vérité d’une description. Les résultats montrent une forte baisse de performance lorsque le niveau d’enchâssement augmente, suggérant un traitement non compositionnel, ainsi que des difficultés propres aux quantificateurs tous, aucun et plusieurs.
Mots clés : grands modèles de langue, quantification, sémantique, compositionnalité.