@inproceedings{FIlori-Checchin-Guille-Jacques-Heudel-Verlingue-Blay-Crochet:CORIA-TALN-2026:2026,
    author = "FIlori, Quentin and Checchin, Thomas and Guille, Adrien and Jacques, Julien and Heudel, Pierre-Etienne and Verlingue, Loic and Blay, Jean-Yves and Crochet, Hugo",
    title = "OncoDEBERTa : adaptation d'un mod\`ele DeBERTa-v3 au domaine oncologique clinique fran\c{c}ais",
    booktitle = "Actes de CORIA-TALN 2026. Actes de l'atelier TAL@Sant\'e",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "56-67",
    note = "",
    abstract = "Nous pr\'esentons OncoDEBERTa, un mod\`ele de langue fran\c{c}ais adapt\'e au domaine oncologique en combinant l'architecture DeBERTa-v3 (CamemBERTav2) et une strat\'egie d'entra{\^\i}nement de type ELECTRA. OncoDEBERTa est pr\'e-entra{\^\i}n\'e en continu sur le m\^eme corpus de 2,7 millions de comptes-rendus oncologiques d\'e-identifi\'es que son pr\'ed\'ecesseur OncoBERT (CamemBERT + MLM), mais atteint la convergence en une seule \'epoque contre 50, gr\^ace \`a un signal d'apprentissage par \'etape environ 6,7 fois plus dense. \'Evalu\'e sur deux t\^aches cliniques en validation crois\'ee stratifi\'ee \`a 5 plis, OncoDEBERTa \'etablit de nouveaux niveaux de performance{\textasciitilde}: F1-macro de $0{,}88$ en classification du statut m\'etastatique ($+5$ pts vs OncoBERT, $p = 0{,}013$) et F1 de $0{,}81$ sur l'entit\'e rare M\'edicament en NER de toxicit\'es ($+6$ pts, $p = 0{,}001$). Nos r\'esultats montrent que les gains proviennent conjointement de l'architecture DeBERTa-v3 et de l'adaptation au domaine oncologique, un pr\'e-entra{\^\i}nement biom\'edical g\'en\'eral ne suffit pas.",
    keywords = "mod\`ele de langue, adaptation de domaine, ELECTRA, DeBERTa, oncologie, NER, classification, NLP clinique, fran\c{c}ais",
    url = "9.pdf"
}