@inproceedings{Sebbag-Quiniou-Stucky-Morin:CORIA-TALN:2025,
    author = "Sebbag, Thomas and Quiniou, Solen and Stucky, Niclas and Morin, Emmanuel",
    title = "AdminSet and AdminBERT : un jeu de donn\'ees et un mod\`ele de langue pr\'e-entra{\^\i}n\'e pour explorer le d\'edale non structur\'e des donn\'ees administratives fran\c{c}aises",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 2 : traductions d'articles publi\'es",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "3-4",
    note = "",
    abstract = "Les mod\`eles de langue pr\'e-entra{\^\i}n\'es (PLM) sont largement utilis\'es en traitement automatique du langage naturel (TALN), mais peu adapt\'es aux textes administratifs, souvent non standardis\'es et sp\'ecialis\'es. En France, l'absence de r\'eglementation uniforme et l'h\'et\'erog\'en\'eit\'e des sources compliquent le traitement des documents administratifs. Pour pallier ce probl\`eme, nous proposons AdminBERT, le premier mod\`ele de langue pr\'e-entra{\^\i}n\'e en fran\c{c}ais d\'edi\'e aux documents administratifs. Nous \'evaluons AdminBERT sur la t\^ache de reconnaissance des entit\'es nomm\'ees (REN), en le comparant \`a des mod\`eles g\'en\'eriques, un grand mod\`ele de langue (LLM) et une variante du mod\`ele BERT. Nos r\'esultats montrent qu'un pr\'e-entra{\^\i}nement sur des textes administratifs am\'eliore significativement la reconnaissance des entit\'es nomm\'ees. Nous mettons \`a disposition AdminBERT, AdminSet (un corpus de pr\'e-entra{\^\i}nement) et AdminSet-NER, le premier jeu de donn\'ees annot\'e pour la REN sur des textes administratifs fran\c{c}ais.",
    keywords = "documents administratifs, mod\`ele de langue, reconnaissance d'entit\'e nomm\'ees, corpus, fran\c{c}ais",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/13.pdf"
}