@inproceedings{Pillet-Gernigon-Volkova-Dufour-Granet:CORIA-TALN-2026:2026,
    author = "Pillet, Xavier and Gernigon, C\'edric and Volkova, Anastasia and Dufour, Richard and Granet, Adeline",
    title = "R\'eentra{\^\i}nement conscient de la quantification : un arbitrage entre pr\'e-entra{\^\i}nement et affinage des mod\`eles de langue sp\'ecialis\'es",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 2 : articles d\'ej\`a publi\'es",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "39-39",
    note = "",
    abstract = "La quantification est une technique largement adopt\'ee pour r\'eduire l'empreinte m\'emoire et le co\^ut computationnel des r\'eseaux de neurones. Si la quantification de mod\`eles pr\'e-entra{\^\i}n\'es s'av\`ere efficace, un r\'eentra{\^\i}nement est souvent n\'ecessaire pour les formats de quantification extr\^eme. L'affinage ({\textbackslash}textit{fine-tuning}), quant \`a lui, permet d'adapter des mod\`eles g\'en\'eralistes \`a des domaines sp\'ecifiques, bien que la quantification puisse d\'egrader consid\'erablement leurs performances. Ce travail \'etudie le co\^ut d'entra{\^\i}nement des mod\`eles de langue ajust\'es et quantifi\'es. La formalisation du compromis calculatoire entre l'adaptation au domaine et l'affinage, permet de d\'emontrer que les points de contr\^ole sp\'ecialis\'es (checkpoints) pr\'esentent une plus grande robustesse au bruit de quantification. Ces r\'esultats \'etablissent un sch\'ema directeur viable pour le d\'eploiement de mod\`eles de TAL biom\'edicaux performants dans des environnements embarqu\'es aux ressources limit\'ees.",
    keywords = "Quantification, QAT, TAL Biom\'edical, Mod\`eles de type BERT",
    url = "11.pdf"
}