@inproceedings{Belmadani-Favre-Dufour-Bechet-Ramisch:CORIA-TALN:2025,
    author = "Belmadani, Ikram and Favre, Benoit and Dufour, Richard and Bechet, Fr\'ed\'eric and Ramisch, Carlos",
    title = "Adaptation des connaissances m\'edicales pour les grands mod\`eles de langue : Strat\'egies et analyse comparative",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "50-72",
    note = "",
    abstract = "Cet article pr\'esente une \'etude sur l'adaptation des grands mod\`eles de langue (LLMs) \`a des domaines sp\'ecialis\'es disposant de donn\'ees limit\'ees. Bien que certaines recherches remettent en question le pr\'e-entra{\^\i}nement adaptatif (DAPT) dans le contexte m\'edical en anglais, nous montrons que l'adaptation au domaine peut \^etre efficace sous certaines conditions. En prenant comme exemple l'adaptation au domaine m\'edical en fran\c{c}ais, nous comparons de mani\`ere syst\'ematique le pr\'e-entra{\^\i}nement continu (CPT), l'affinage supervis\'e (SFT) et une approche combin\'ee (CPT suivi de SFT). Nos r\'esultats indiquent que l'adaptation d'un mod\`ele g\'en\'eraliste \`a de nouvelles donn\'ees dans le domaine m\'edical offre des am\'eliorations notables (taux de r\'eussite de 87\\%), tandis que l'adaptation suppl\'ementaire de mod\`eles d\'ej\`a familiaris\'es avec ce domaine procure des b\'en\'efices limit\'es. Bien que CPT+SFT offre les meilleures performances globales, SFT-seul pr\'esente des r\'esultats solides et requiert moins de ressources mat\'erielles.",
    keywords = "Grands mod\`eles de langue (LLMs), Pr\'e-entra{\^\i}nement continu (CPT), Affinage supervis\'e (SFT), M\'edical, Fran\c{c}ais.",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/42.pdf"
}