@inproceedings{Charpentier-Cugliari-Duhalde-Guille:CORIA-TALN:2025,
    author = "Charpentier, Fr\'ed\'eric and Cugliari Duhalde, Jairo and Guille, Adrien",
    title = "Alignements entre attention et s\'emantique dans des mod\`eles de langues pr\'e-entra{\^\i}n\'es",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "100-116",
    note = "",
    abstract = "Les AMR (Abstract Meaning Representation) sont une structure destin\'ee \`a coder la s\'emantique de phrases sous forme de graphes. Les mots des phrases correspondantes peuvent \^etre align\'es avec les sommets de l'AMR, de telle sorte que les relations s\'emantiques entre les mots puissent \^etre mises en correspondance avec les r\^oles s\'emantiques lus sur les arcs de l'AMR. Le m\'ecanisme d'attention d'un mod\`ele de langue (ML) peut \^etre mod\'elis\'e comme le calcul de vecteurs descripteurs pour les ar\^etes d'un graphe complet dont les sommets sont les mots d'une phrase ou d'un paragraphe entier. Dans cet article, nous projetons les graphes AMR sur les graphes d'attention et concevons des m\'ethodes supervis\'ees pour d\'etecter les relations s\'emantiques \'etiquetant les ar\^etes \`a partir des poids d'attention. Pour cela, nous mettons en {\oe}uvre des m\'ethodes op\'erant soit sur les ar\^etes une \`a une, soit sur le graphe d'attention entier afin de comparer les capacit\'es s\'emantiques de ML pr\'e-entra{\^\i}n\'es. Il ressort de cette \'etude que l'encodeur bidirectionnel RoBERTA-base est meilleur que les d\'ecodeurs causaux, jusqu'\`a Llama 3 8B.",
    keywords = "S\'emantique, \'etiquetage s\'emantique, Repr\'esentation Abstraite de Signification, Attention, R\'eseaux de neurones sur graphes.",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/116.pdf"
}