@inproceedings{Muller-Anastasopoulos-Sagot-Seddah:TALN:2022,
    author = "Muller, Benjamin and Anastasopoulos, Antonios and Sagot, Beno{\^\i}t and Seddah, Djam\'e",
    title = "Quand \^etre absent de mBERT n'est que le commencement : G\'erer de nouvelles langues \`a l'aide de mod\`eles de langues multilingues",
    booktitle = "Actes de la 29e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf\'erence principale / R\'esum\'es d'articles internationaux",
    month = "6",
    year = "2022",
    address = "Avignon, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "5-6",
    note = "When Being Unseen from mBERT is just the Beginning : Handling New Languages With Multilingual Language Models",
    abstract = "L'apprentissage par transfert bas\'e sur le pr\'e-entra{\^\i}nement de mod\`eles de langue sur une grande quantit\'e de donn\'ees brutes est devenu la norme pour obtenir des performances \'etat de l'art en TAL. Cependant, la fa\c{c}on dont cette approche devrait \^etre appliqu\'ee pour des langues inconnues, qui ne sont couvertes par aucun mod\`ele de langue multilingue \`a grande \'echelle et pour lesquelles seule une petite quantit\'e de donn\'ees brutes est le plus souvent disponible, n'est pas claire. Dans ce travail, en comparant des mod\`eles multilingues et monolingues, nous montrons que de tels mod\`eles se comportent de multiples fa\c{c}ons sur des langues inconnues. Certaines langues b\'en\'eficient grandement de l'apprentissage par transfert et se comportent de mani\`ere similaire \`a des langues proches riches en ressource, alors que ce n'est manifestement pas le cas pour d'autres. En nous concentrant sur ces derni\`eres, nous montrons dans ce travail que cet \'echec du transfert est largement li\'e \`a l'impact du script que ces langues utilisent. Nous montrons que la translitt\'eration de ces langues am\'eliore consid\'erablement le potentiel des larges mod\`eles de langue neuronaux multilingues pour des t\^aches en aval. Ce r\'esultat indique une piste prometteuse pour rendre ces mod\`eles massivement multilingues utiles pour de nouveaux ensembles de langues absentes des donn\'ees d'entra{\^\i}nement.",
    keywords = "mod\`eles de langues multilingues neuronaux, langues peu dot\'ees, translitt\'eration, 1. Code available at https://github.com/benjamin-mlr/mbert-unseen-languages.git  Volume 1 : conf\'erence principale, pages 450-451. Cette \oe uvre est mise \`a disposition sous licence Attribution 4.0 International.  Apprentissage par transfert.",
    url = "http://talnarchives.atala.org/TALN/TALN-2022/5937.pdf"
}