@inproceedings{Fosse-Hau-Nguyen-Sebillot-Gravier:CORIA-TALN:2023,
    author = {Fosse, Lo{\"\i}c and Hau Nguyen, Duc and S\'ebillot, Pascale and Gravier, Guillaume},
    title = "G\'eom\'etrie de l'auto-attention en classification : quand la g\'eom\'etrie remplace l'attention",
    booktitle = "Actes de CORIA-TALN 2023. Actes de la 30e Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 1 : travaux de recherche originaux - articles longs",
    month = "6",
    year = "2023",
    address = "Paris, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "137-150",
    note = "",
    abstract = "Plusieurs \'etudes ont mis en \'evidence l'anisotropie des plongements issus d'un mod\`ele BERT au sein d'un \'enonc\'e, c'est-\`a-dire leur concentration dans une direction donn\'ee, notamment dans une t\^ache de classification. Dans cet article, nous cherchons \`a mieux comprendre ce ph\'enom\`ene et comment cette convergence se construit en analysant finement les propri\'et\'es g\'eom\'etriques des plongements, des cl\'es et des valeurs dans une couche d'auto-attention. Nous montrons que la direction vers laquelle les plongements s'alignent caract\'erise la classe d'appartenance de l'\'enonc\'e. Nous \'etudions ensuite le fonctionnement intrins\`eque de la couche d'auto-attention et les m\'ecanismes en jeu entre cl\'es et valeurs pour garantir la construction d'une repr\'esentation anisotrope. Cette construction se fait de mani\`ere progressive lorsque plusieurs couches sont empil\'es. Elle s'av\`ere \'egalement robuste \`a des contraintes externes sur la distribution des poids d'attention, compens\'ees par le mod\`ele en jouant sur les valeurs et les cl\'es.",
    keywords = "classification, auto, attention, transformers, bertologie",
    url = "461872.pdf"
}