@inproceedings{Shafiabadi-Wisniewski:CORIA-TALN:2025,
    author = "Shafiabadi, Nazanin and Wisniewski, Guillaume",
    title = "Anti-surprise : Une m\'etrique compl\'ementaire pour \'evaluer l'apprentissage lexical des (grands) mod\`eles de langue",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 2 : traductions d'articles publi\'es",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "5-5",
    note = "",
    abstract = "Un grand nombre de travaux s'appuient sur l'analyse des courbes de surprise pour \'evaluer la mani\`ere dont les mod\`eles de langue capture le sens des mots au cours de leur apprentissage. Toutefois, cette approche ne consid\`ere que la capacit\'e d'un mod\`ele \`a pr\'edire un mot dans des contextes appropri\'es, sans prendre en compte sa capacit\'e \`a ne pas produire ce mot dans des contextes inappropri\'es. Pour combler cette lacune, nous introduisons une nouvelle mesure compl\'ementaire, que nous appelons l'anti-surpris, qui \'evalue la capacit\'e d'un mod\`ele \`a ne pas utiliser un mot dans des contextes o\`u il serait surprenant voire erron\'e. Nous montrons que l'analyse conjointe des courbes de surprise et d'anti-surprise permet de mieux caract\'eriser l'acquisition du lexique par les mod\`eles de langue.",
    keywords = "acquisition lexicale, surprise, anti-surprise.",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/140.pdf"
}