L’évaluation des paraphrases : pour une prise en compte de la tâche
Jonathan Chevelu, Yves Lepage, Thierry Moudenc, Ghislain Putois
Résumé : Les définitions des paraphrases privilégient généralement la conservation du sens. Cet article démontre par l’absurde qu’une évaluation uniquement basée sur la conservation du sens permet à un système inutile de production de paraphrase d’être jugé meilleur qu’un système au niveau de l’état de l’art. La conservation du sens n’est donc pas l’unique critère des paraphrases. Nous exhibons les trois objectifs des paraphrases : la conservation du sens, la naturalité et l’adaptation à la tâche. La production de paraphrase est alors un compromis dépendant de la tâche entre ces trois critères et ceux-ci doivent être pris en compte lors des évaluations.
Abstract : Meaning preservation is generally rooted in the paraphrase definitions. This article proves by reductio ad absurdum that an evaluation based only on the meaning preservation can rank a dummy and useless system better than a state-of-the-art system. Meaning preservation is therefore not the one and only criterion for a paraphrase system. We exhibit the three objectives of paraphrase : meaning preservation, sentence naturalness and adequacy for the task. Paraphrase generation consists actually in reaching a taskdependent compromise between these three criteria, and they have to be taken into account during each evaluation process.
Mots clés : Générateur de paraphrase, évaluation des paraphrases
Keywords : Paraphrase generator, paraphrase evaluation