Anti-surprise : Une métrique complémentaire pour évaluer l'apprentissage lexical des (grands) modèles de langue
Nazanin Shafiabadi, Guillaume Wisniewski
Résumé : Un grand nombre de travaux s'appuient sur l'analyse des courbes de surprise pour évaluer la manière dont les modèles de langue capture le sens des mots au cours de leur apprentissage. Toutefois, cette approche ne considère que la capacité d'un modèle à prédire un mot dans des contextes appropriés, sans prendre en compte sa capacité à ne pas produire ce mot dans des contextes inappropriés. Pour combler cette lacune, nous introduisons une nouvelle mesure complémentaire, que nous appelons l'anti-surpris, qui évalue la capacité d'un modèle à ne pas utiliser un mot dans des contextes où il serait surprenant voire erroné. Nous montrons que l'analyse conjointe des courbes de surprise et d'anti-surprise permet de mieux caractériser l'acquisition du lexique par les modèles de langue.
Mots clés : acquisition lexicale, surprise, anti-surprise.