@inproceedings{Labrak-Bazoge-Dufour-Rouvier-Morin-Daille-Gourraud:CORIA-TALN:2023,
    author = "Labrak, Yanis and Bazoge, Adrien and Dufour, Richard and Rouvier, Mickael and Morin, Emmanuel and Daille, B\'eatrice and Gourraud, Pierre-Antoine",
    title = "DrBERT: Un mod\`ele robuste pr\'e-entra{\^\i}n\'e en fran\c{c}ais pour les domaines biom\'edical et clinique",
    booktitle = "Actes de CORIA-TALN 2023. Actes de la 30e Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 4 : articles d\'ej\`a soumis ou accept\'es en conf\'erence internationale",
    month = "6",
    year = "2023",
    address = "Paris, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "109-120",
    note = "",
    abstract = "Ces derni\`eres ann\'ees, les mod\`eles de langage pr\'e-entra{\^\i}n\'es ont obtenu les meilleures performances sur un large \'eventail de t\^aches de traitement automatique du langage naturel (TALN). Alors que les premiers mod\`eles ont \'et\'e entra{\^\i}n\'es sur des donn\'ees issues de domaines g\'en\'eraux, des mod\`eles sp\'ecialis\'es sont apparus pour traiter plus efficacement des domaines sp\'ecifiques. Dans cet article, nous proposons une \'etude originale de mod\`eles de langue dans le domaine m\'edical en fran\c{c}ais. Nous comparons pour la premi\`ere fois les performances de mod\`eles entra{\^\i}n\'es sur des donn\'ees publiques issues du web et sur des donn\'ees priv\'ees issues d'\'etablissements de sant\'e. Nous \'evaluons \'egalement diff\'erentes strat\'egies d'apprentissage sur un ensemble de t\^aches biom\'edicales. Enfin, nous publions les premiers mod\`eles sp\'ecialis\'es pour le domaine biom\'edical en fran\c{c}ais, appel\'es DrBERT, ainsi que le plus grand corpus de donn\'ees m\'edicales sous licence libre sur lequel ces mod\`eles sont entra{\^\i}n\'es.",
    keywords = "BERT, RoBERTa, Transformers, Biom\'edical, Clinique, Mod\`ele de langue",
    url = "458407.pdf"
}