@inproceedings{Ferret:TALN:2021,
    author = "Ferret, Olivier",
    title = "Exploration des relations s\'emantiques sous-jacentes aux plongements contextuels de mots",
    booktitle = "Actes de la 28e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : Articles longs",
    month = "6",
    year = "2021",
    address = "Lille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "25-35",
    note = "Exploring semantic relations underlying contextual word embeddings",
    abstract = "De nombreuses \'etudes ont r\'ecemment \'et\'e r\'ealis\'ees pour \'etudier les propri\'et\'es des mod\`eles de langue contextuels mais, de mani\`ere surprenante, seules quelques-unes d'entre elles se concentrent sur les propri\'et\'es de ces mod\`eles en termes de similarit\'e s\'emantique. Dans cet article, nous proposons d'abord, en nous appuyant sur le principe distributionnel de substituabilit\'e, une m\'ethode permettant d'utiliser ces mod\`eles pour ordonner un ensemble de mots cibles en fonction de leur similarit\'e avec un mot source. Nous appliquons d'abord cette m\'ethode pour l'anglais comme m\'ecanisme de sondage pour explorer les propri\'et\'es s\'emantiques des mod\`eles ELMo et BERT du point de vue des relations paradigmatiques de WordNet et dans le contexte contr\^ol\'e du corpus SemCor. Dans un second temps, nous la transposons \`a l'\'etude des diff\'erences entre ces mod\`eles contextuels et un mod\`ele de plongement statique.",
    keywords = "Mod\`eles de langue contextuels, s\'emantique distributionnelle, relations s\'emantiques.",
    url = "http://talnarchives.atala.org/TALN/TALN-2021/145.pdf"
}