@inproceedings{Sun-Venant:CORIA-TALN-2026:2026,
    author = "Sun, Shuyang and Venant, Antoine",
    title = "Q-COMP : un jeu de donn\'ees pour l{\textquoteright}\'evaluation du traitement compositionnel de la quantification dans les grands mod\`eles de langue",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "439-453",
    note = "",
    abstract = "Nous cherchons \`a d\'eterminer si la mani\`ere dont les grands mod\`eles de langue traitent les expressions quantifi\'ees est coh\'erente avec les mod\`eles de la s\'emantique formelle. Nous g\'en\'erons automatiquement des descriptions comportant un ench\^assement r\'ecursif de quantifieurs, accompagn\'ees de leur d\'enotation dans diff\'erents contextes. Nous constituons un jeu de donn\'ees de 14 160 triplets description/contexte/interpr\'etation, avec une profondeur d{\textquoteright}ench\^assement de 1 \`a 4, et \'evaluons les mod\`eles sur trois t\^aches : (1) identifier tous les objets correspondant \`a la description, (2) en identifier un, et (3) v\'erifier la v\'erit\'e d{\textquoteright}une description. Les r\'esultats montrent une forte baisse de performance lorsque le niveau d{\textquoteright}ench\^assement augmente, sugg\'erant un traitement non compositionnel, ainsi que des difficult\'es propres aux quantificateurs tous, aucun et plusieurs.",
    keywords = "grands mod\`eles de langue, quantification, s\'emantique, compositionnalit\'e.",
    url = "98.pdf"
}