@inproceedings{Fosse-Nguyen-Sebillot-Gravier:TALN:2022,
    author = {Fosse, Lo{\"\i}c and Nguyen, Duc-Hau and S\'ebillot, Pascale and Gravier, Guillaume},
    title = "Une \'etude statistique des plongements dans les mod\`eles transformers pour le fran\c{c}ais",
    booktitle = "Actes de la 29e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf\'erence principale / Travaux originaux",
    month = "6",
    year = "2022",
    address = "Avignon, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "246-255",
    note = "An empirical statistical study of embeddings in French transformers",
    abstract = "Nous \'etudions les propri\'et\'es statistiques des plongements dans les mod\`eles transformers pour le fran\c{c}ais. Nous nous appuyons sur une analyse de la variance, des similarit\'es cosinus intra-phrase et du rang effectif des plongements aux diff\'erents niveaux d'un transformer, pour des mod\`eles pr\'e-entra{\^\i}n\'es et des mod\`eles adapt\'es \`a la classification de textes. Nous montrons que les mod\`eles FlauBERT et CamemBERT pr\'e-entra{\^\i}n\'es ont des comportements tr\`es diff\'erents m\^eme si les deux ont une tendance \`a g\'en\'erer des repr\'esentations anisotropiques, c'est-\`a-dire se concentrant dans un c\^one au sein de l'espace des plongements, comme observ\'e pour l'anglais. L'adaptation \`a la classification de textes modifie le comportement des mod\`eles, notamment dans les derni\`eres couches, et procure une tendance forte \`a l'alignement des plongements, r\'eduisant \'egalement la dimension effective de l'espace au final. Nous mettons \'egalement en \'evidence un lien entre convergence des plongements au sein d'une phrase et classification de texte, lien dont la nature reste difficile \`a appr\'ehender.",
    keywords = "plongements de mots, transfomer, FlauBERT, CamemBERT, analyse statistique.",
    url = "http://talnarchives.atala.org/TALN/TALN-2022/8643.pdf"
}