@inproceedings{Bouhandi-Morin-Hamon:TALN:2022,
    author = "Bouhandi, Merieme and Morin, Emmanuel and Hamon, Thierry",
    title = "Adaptation au domaine de mod\`eles de langue \`a l'aide de r\'eseaux \`a base de graphes",
    booktitle = "Actes de la 29e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf\'erence principale / Traduction de soumissions en cours \`a des conf\'erences internationales",
    month = "6",
    year = "2022",
    address = "Avignon, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "1-10",
    note = "Graph Neural Networks for Adapting General Domain Language Mod\`eles Specialised Corpora",
    abstract = "Les mod\`eles de langue prodonds encodent les propri\'et\'es linguistiques et sont utilis\'es comme entr\'ee pour des mod\`eles plus sp\'ecifiques. Utiliser leurs repr\'esentations de mots telles quelles pour des domaines peu dot\'es se r\'ev\`ele \^etre moins efficace. De plus, ces mod\`eles n\'egligent souvent les informations globales sur le vocabulaire au profit d'une plus forte d\'ependance \`a l'attention. Nous consid\'erons que ces informations influent sur les r\'esultats des t\^aches en aval. Leur combinaison avec les repr\'esentations contextuelles est effectu\'ee \`a l'aide de r\'eseaux de neurones \`a base de graphes. Nous montrons que l'utilit\'e de cette combinaison qui surpassent les performances de baselines.",
    keywords = "mod\`eles de langue, mod\`eles neuronaux \`a base de graphes, plongements de mots,  domaine sp\'ecialis\'e.",
    url = "http://talnarchives.atala.org/TALN/TALN-2022/8526.pdf"
}