Analyse automatique de textes littéraires et scientifiques : présentation et résultats du défi fouille de texte DEFT2014
Thierry Hamon, Quentin Pleplé, Patrick Paroubek, Pierre Zweigenbaum, Cyril Grouin
Résumé : Dans cet article, nous présentons l’édition 2014 du défi fouille de texte (DEFT) consacrée à l’analyse de textes littéraires (corpus Short Edition) et scientifiques (archives TALN) au travers de quatre tâches : catégoriser le genre littéraire d’une œuvre, évaluer la qualité littéraire, déterminer l’aspect consensuelle d’une œuvre auprès des relecteurs, et identifier la session d’appartenance d’un article scientifique dans une conférence. Afin d’évaluer les résultats des participants, nous avons utilisé le gain cumulé normalisé (NDCG, tâche 1), l’exactitude en distance relative à la solution moyenne (EDRM, tâche 2), la précision (tâche 3), et la correction (tâcheé4). Les résultats obtenus par les participants sont fortement contrastés et témoignent de la difficulté de chacune des tâches, bien qu’un système ait obtenu une performance maximale dans la tâche 4.
Mots clés : Fouille d’opinion, classification automatique, évaluation.