Analyse des émotions, sentiments et opinions exprimés dans les tweets : présentation et résultats de l'édition 2015 du défi fouille de texte (DEFT)
Thierry Hamon, Amel Fraisse, Patrick Paroubek, Pierre Zweigenbaum, Cyril Grouin
Résumé : L'édition 2015 du défi fouille de texte (DEFT) porte sur la fouille d'opinion et l'analyse des sentiments et des émotions dans les messages postés sur Twitter en relation avec la thématique du changement climatique. Trois tâches ont été proposées : (i) déterminer la polarité globale des tweets, (ii) identifier les classes génériques (opinion, sentiment, émotion, information) et spécifiques (parmi 18 classes) de ces tweets, et (iii) analyser la source, la cible et l'expression porteuse d'opinion, de sentiment ou d'émotion. Douze équipes ont participé. Les meilleurs résultats, en macro-précision, sont de 0,736 (polarité), 0,613 (classes génériques) et 0,347 (classes spécifiques). Aucun participant n'a soumis de données pour la dernière tâche. Les méthodes utilisées reposent majoritairement sur des approches par apprentissage statistique supervisé (SVM, Naïve Bayes, réseaux neuronaux, PPMC), et utilisent de nombreux lexiques d'opinions (ANEW, Casoar, Emotaix, Feel, Lidilem) et de polarités (Polarimots) comme traits.
Abstract : The 2015 DEFT text mining challenge focused on opinion mining, emotion and sentiment analysis of messages from Twitter, on the climate change thematic. Three tasks were proposed: (i) determine the general polarity of tweets, (ii) identify generic classes (opinion, sentiment, emotion, information) and specific classes (among 18 classes) from these tweets, and (iii) analyze source, target, and opinion, sentiment, emotion focus. Twelve teams participated. The best results, in terms of macro-precision, are of 0.736 (polarity), 0.613 (generic classes) and 0.347 (specific classes). No run was submitted for the last task. The methods used by the participants mainly rely on statistical machine learning approaches (SVM, Naïve Bayes, neural network, PPMC), using several opinion lexicon (ANEW, Casoar, Emotaix, Feel, Lidilem) and polarity lexicon (Polarimots) as features.
Mots clés : Fouille d'opinion, Analyse d'émotions, Analyse de sentiments, Réseaux sociaux, Campagne d'évaluation
Keywords : Opinion mining, Emotion analysis, Sentiment Analysis, Social network, NLP Challenge