@inproceedings{Mosolova-Candito-Ramisch:CORIA-TALN:2025,
    author = "Mosolova, Anna and Candito, Marie and Ramisch, Carlos",
    title = "Raffinage des repr\'esentations des tokens dans les mod\`eles de langue pr\'e-entra{\^\i}n\'es avec l{\textquoteright}apprentissage contrastif : une \'etude entre mod\`eles et entre langues",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "666-681",
    note = "",
    abstract = "Les mod\`eles de langue pr\'e-entra{\^\i}n\'es ont apport\'e des avanc\'ees significatives dans les repr\'esentations contextuelles des phrases et des mots. Cependant, les t\^aches lexicales restent un d\'efi pour ces repr\'esentations en raison des probl\`emes tels que la faible similarit\'e des representations d'un m\^eme mot dans des contextes similaires. Mosolova et al. (2024) ont montr\'e que l'apprentissage contrastif supervis\'e au niveau des tokens permettait d'am\'eliorer les performances sur les t\^aches lexicales. Dans cet article, nous \'etudions la g\'en\'eralisabilit\'e de leurs r\'esultats obtenus en anglais au fran\c{c}ais, \`a d'autres mod\`eles de langue et \`a plusieurs parties du discours. Nous d\'emontrons que cette m\'ethode d'apprentissage contrastif am\'eliore syst\'ematiquement la performance sur les t\^aches de Word-in-Context et surpasse celle des mod\`eles de langage pr\'e-entra{\^\i}n\'es standards. L'analyse de l'espace des plongements lexicaux montre que l'affinage des mod\`eles rapproche les exemples ayant le m\^eme sens et \'eloigne ceux avec des sens diff\'erents, ce qui indique une meilleure discrimination des sens dans l'espace vectoriel final.",
    keywords = "s\'emantique lexicale, word-in-context, affinage",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/139.pdf"
}