Les représentations distribuées sont-elles vraiment distribuées ? Observations sur la localisation de l'information syntaxique dans les tâches d'accord du verbe en français
Bingzhi Li, Guillaume Wisniewski, Benoît Crabbé
Résumé : Ce travail aborde la question de la localisation de l’information syntaxique qui est encodée dans les représentations de transformers. En considérant la tâche d’accord objet-participe passé en français, les résultats de nos sondes linguistiques montrent que les informations nécessaires pour accomplir la tâche sont encodées d’une manière locale dans les représentations de mots entre l’antécédent du pronom relatif objet et le participe passé cible. En plus, notre analyse causale montre que le modèle s’appuie essentiellement sur les éléments linguistiquement motivés (i.e. antécédent et pronom relatif) pour prédire le nombre du participe passé.
Mots clés : représentation distribuée, transformers, information syntaxique, analyse causale.