Alignements entre attention et sémantique dans des modèles de langues pré-entraînés
Frédéric Charpentier, Jairo Cugliari Duhalde, Adrien Guille
Résumé : Les AMR (Abstract Meaning Representation) sont une structure destinée à coder la sémantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent être alignés avec les sommets de l'AMR, de telle sorte que les relations sémantiques entre les mots puissent être mises en correspondance avec les rôles sémantiques lus sur les arcs de l'AMR. Le mécanisme d'attention d'un modèle de langue (ML) peut être modélisé comme le calcul de vecteurs descripteurs pour les arêtes d'un graphe complet dont les sommets sont les mots d'une phrase ou d'un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d'attention et concevons des méthodes supervisées pour détecter les relations sémantiques étiquetant les arêtes à partir des poids d'attention. Pour cela, nous mettons en œuvre des méthodes opérant soit sur les arêtes une à une, soit sur le graphe d'attention entier afin de comparer les capacités sémantiques de ML pré-entraînés. Il ressort de cette étude que l'encodeur bidirectionnel RoBERTA-base est meilleur que les décodeurs causaux, jusqu'à Llama 3 8B.
Mots clés : Sémantique, étiquetage sémantique, Représentation Abstraite de Signification, Attention, Réseaux de neurones sur graphes.