Calcul de similarité entre phrases : quelles mesures et quels descripteurs ?
Davide Buscaldi, Ghazi Felhi, Dhaou Ghoul, Josepth Le Roux, Gaël Lejeune, Xudong Zhang
Résumé : Cet article présente notre participation à l’édition 2020 du Défi Fouille de Textes DEFT 2020 et plus précisément aux deux tâches ayant trait à la similarité entre phrases. Dans notre travail nous nous sommes intéressé à deux questions : celle du choix de la mesure du similarité d’une part et celle du choix des opérandes sur lesquelles se porte la mesure de similarité. Nous avons notamment étudié la question de savoir s’il fallait utiliser des mots ou des chaînes de caractères (mots ou non-mots). Nous montrons d’une part que la similarité de Bray-Curtis peut être plus efficace et surtout plus stable que la similarité cosinus et d’autre part que le calcul de similarité sur des chaînes de caractères est plus efficace que le même calcul sur des mots.
Mots clés : similarité, n-grammes de caractères, distance euclidienne, distance de Bray-Curtis.