Une méthode d’évaluation des résumés basée sur la combinaison de métriques automatiques et de complexité textuelle
Samira Walha Ellouze, Maher Jaoua, Lamia Hadrich Belguith
Résumé : Cet article présente une méthode automatique d’évaluation du contenu des résumés automatiques. La méthode proposée est basée sur une combinaison de caractéristiques englobant des scores de contenu et d’autres de complexité textuelle et ce en s’appuyant sur une technique d’apprentissage, à savoir la régression linéaire. L’objectif de cette combinaison consiste à prédire le score manuel PYRAMID à partir des caractéristiques utilisées. Afin d’évaluer la méthode présentée, nous nous sommes intéressés à deux niveaux de granularité d’évaluation : la première est qualifiée de Micro-évaluation et propose l’évaluation de chaque résumé, alors que la deuxième est une Macro-évaluation et s’applique au niveau de chaque système.
Abstract : This article presents an automatic method for evaluating content summaries. The proposed method is based on a combination of features encompassing scores of content and others of textual complexity. This method relies on a learning technique namely the linear regression. The objective of this combination is to predict the PYRAMID score from used features. In order to evaluate the presented method, we are interested in two levels of granularity evaluation: the first is named Micro-evaluation and proposes an evaluation of each summary, while the second is called Macro-evaluation and it applies at the level of each system.
Mots clés : Evaluation intrinsèque, évaluation du contenu, résumé automatique, complexité textuelle, régression linéaire
Keywords : Intrinsic evaluation, content evaluation, automatic summary, textual complexity, linear regression