Adaptation au domaine de modèles de langue à l'aide de réseaux à base de graphes
Merieme Bouhandi, Emmanuel Morin, Thierry Hamon
Résumé : Les modèles de langue prodonds encodent les propriétés linguistiques et sont utilisés comme entrée pour des modèles plus spécifiques. Utiliser leurs représentations de mots telles quelles pour des domaines peu dotés se révèle être moins efficace. De plus, ces modèles négligent souvent les informations globales sur le vocabulaire au profit d’une plus forte dépendance à l’attention. Nous considérons que ces informations influent sur les résultats des tâches en aval. Leur combinaison avec les représentations contextuelles est effectuée à l’aide de réseaux de neurones à base de graphes. Nous montrons que l’utilité de cette combinaison qui surpassent les performances de baselines.
Mots clés : modèles de langue, modèles neuronaux à base de graphes, plongements de mots, domaine spécialisé.