@inproceedings{Bladier-Deulofeu-Nasr:CORIA-TALN-2026:2026,
    author = "Bladier, Tatiana and Deulofeu, Henri-Jos\'e and Nasr, Alexis",
    title = "SyntaxGym pour le fran\c{c}ais: Ressource, annotation et \'evaluation de mod\`eles de langues fran\c{c}ais et multilingues",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 2 : articles d\'ej\`a publi\'es",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "46-47",
    note = "",
    abstract = "Malgr\'e les progr\`es r\'ecents des grands mod\`eles de langues, leur comp\'etence syntaxique reste peu \'etudi\'ee, en particulier pour les langues autres que l{\textquoteright}anglais. Alors que des ressources telles que BLiMP ou SyntaxGym ont permis 
d'\'etudier le comportement des mod\`eles de langue sur certaines structures syntaxiques de l'anglais et de l'expagnol, il n'existe rien de comparable pour le fran\c{c}ais. Pour combler cette lacune, nous pr\'esentons SyntaxGymFR, un corpus d{\textquoteright}\'evaluation soigneusement constitu\'e et valid\'e manuellement pour \'evaluer les capacit\'es syntaxiques des mod\`eles fran\c{c}ais et multilingues. SyntaxGymFR se compose de paires minimales de phrases ciblant plusieurs ph\'enom\`enes syntaxiques du fran\c{c}ais. Nous d\'ecrivons la m\'ethodologie d{\textquoteright}annotation, la s\'election des constructions linguistiques et les proc\'edures de validation utilis\'ees afin de garantir la couverture des ph\'enom\`enes syntaxiques. De plus, nous pr\'esentons des r\'esultats exp\'erimentaux obtenus avec seize mod\`eles fran\c{c}ais et multilingues, analysant leur sensibilit\'e aux contrastes grammaticaux. Nos r\'esultats fournissent de nouvelles perspectives sur les capacit\'es de g\'en\'eralisation syntaxique des mod\`eles fran\c{c}ais et \'etablissent SyntaxGymFR comme une ressource pour les recherches futures sur l{\textquoteright}\'evaluation de la comp\'etence syntaxique du fran\c{c}ais.",
    keywords = "\'Evaluation syntaxique, grands mod\`eles de langue, SyntaxGym, annotation de corpus, \'evaluation comparative",
    url = "28.pdf"
}