@inproceedings{Duignan-Graiess-van-Ypersele-Deshayes-Chossart-Ferret:CORIA-TALN-2026:2026,
    author = "Duignan, Liam and Graiess, Asma and van Ypersele, Matteo and Deshayes-Chossart, J\'er\^ome and Ferret, Olivier",
    title = "Jeux de donn\'ees en fran\c{c}ais pour l'affinage et l'\'evaluation de mod\`eles de langue g\'en\'eratifs dans le domaine des math\'ematiques",
    booktitle = "Actes de CORIA-TALN 2026. Actes de l'atelier Intelligence Artificielle et \'EDUcation : Transformations p\'edagogiques et Innovations responsables (IA EDU)",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "74-97",
    note = "",
    abstract = "Que ce soit pour le post-entra{\^\i}nement des grands mod\`eles de langue g\'en\'eratifs ou leur \'evaluation, les jeux de donn\'ees de r\'ef\'erence pour une t\^ache ou un domaine cible constituent des ressources essentielles pour le d\'eveloppement de ces mod\`eles. La focalisation r\'ecente sur le raisonnement math\'ematique a ainsi donn\'e lieu \`a la cr\'eation d'un nombre important de jeux de donn\'ees dans ce domaine. N\'eanmoins, la plupart d'entre eux sont en anglais et ceux disponibles pour d'autres langues r\'esultent souvent d'une traduction \`a partir de l'anglais. Or, des \'etudes ont montr\'e que m\^eme pour les math\'ematiques, les sp\'ecificit\'es linguistiques et culturelles ont une influence notable sur les r\'esultats des mod\`eles, d'o\`u l'int\'er\^et de jeux de donn\'ees natifs. Dans cet article, nous proposons ainsi d'exploiter deux sources de probl\`emes math\'ematiques en fran\c{c}ais afin de produire \`a la fois des donn\'ees d'\'evaluation, sous la forme de questionnaires \`a choix multiples, et des donn\'ees exploitables pour le post-entra{\^\i}nement. Nous pr\'esentons aussi les r\'esultats de l'\'evaluation de diff\'erents mod\`eles de r\'ef\'erence sur ces donn\'ees, montrant \`a la fois une m\^eme hi\'erarchie de ces mod\`eles pour le fran\c{c}ais et l'anglais et l'importance du format d'\'evaluation sur les r\'esultats.",
    keywords = "Benchmark natif en fran\c{c}ais, \'Evaluation des LLMs en math\'ematiques",
    url = "5.pdf"
}