@inproceedings{Mannion-Macaire-Violle-Ohayon-Tannier-Schwab-Goeuriot-Portet:CORIA-TALN-2026:2026,
    author = "Mannion, Aidan and Macaire, C\'ecile and Violle, Armand and Ohayon, St\'ephane and Tannier, Xavier and Schwab, Didier and Goeuriot, Lorraine and Portet, Fran\c{c}ois",
    title = "La sp\'ecialisation de domaine est-elle toujours pertinente ? Une \'etude de l'adaptation de mod\`eles de langue g\'en\'eratifs sur un nouveau corpus biom\'edical fran\c{c}ais",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 2 : articles d\'ej\`a publi\'es",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "24-25",
    note = "",
    abstract = "Les grands mod\`eles de langue ont d\'emontr\'e des capacit\'es remarquables dans divers domaines, mais leur adaptation \`a des domaines sp\'ecialis\'es reste difficile. Cette \'etude examine le pr\'e-apprentissage comme strat\'egie visant \`a sp\'ecialiser les mod\`eles de langue de taille moyenne dans le domaine biom\'edical fran\c{c}ais gr\^ace \`a un pr\'e-apprentissage continu. Nous abordons des questions de recherche autour du pr\'e-apprentissage continu sp\'ecialis\'e pour l{\textquoteright}adaptation au domaine et la relation entre les gains de performance sp\'ecifiques au domaine et la d\'egradation des capacit\'es g\'en\'erales. Nos contributions comprennent la publication d{\textquoteright}un corpus biom\'edical fran\c{c}ais sous licence enti\`erement libre et de mod\`eles de langue biom\'edicaux fran\c{c}ais sp\'ecialis\'es, ainsi que de nouvelles perspectives pour la mise en {\oe}uvre du pr\'e-apprentissage sp\'ecialis\'e. Nos r\'esultats sugg\`erent que la fusion des mod\`eles (merging) est essentielle pour att\'enuer les compromis li\'es \`a la g\'en\'eralisation et peut m\^eme am\'eliorer les performances sur certaines t\^aches sp\'ecialis\'ees. Les donn\'ees et les mod\`eles sont accessibles \`a partir de la page suivante : https://huggingface.co/spaces/HealthDataHub/PARTAGES.",
    keywords = "Adaptation aux domaines sp\'ecialis\'es, TALN biom\'edical",
    url = "88.pdf"
}