Stylo@DEFT2022 : Notation automatique de copies d’étudiant·e·s par combinaisons de méthodes de similarité
Ibtihel Ben Ltaifa, Toufik Boubehziz, Andrea Briglia, Corina Chutaux, Yoann Dupont, Carlos-Emiliano González-Gallardo, Caroline Koudoro-Parfait, Gaël Lejeune
Résumé : Cet article présente la participation de l’équipe STyLO (STIH, L3I, OBTIC) au DÉfi Fouille de Textes 2022 (DEFT 2022). La tâche proposée consiste en une évaluation automatique des questions à réponses courtes (EAQRC) de devoirs d’étudiant·e·s avec le corrigé de l’enseignant comme ressource pour chaque question. Nous exploitons dans notre approche une combinaison de différentes méthodes de représentation des données (corrigés et réponses) : mots, n-grammes de caractères (avec et sans frontières de mots), word pieces] et sentence embeddings ainsi que de différents algorithmes pour calculer la note (régression linéaire et régression logistique). Les méthodes sont évaluées en termes d’exactitude et de corrélation de Spearman.
Mots clés : évaluation automatique des réponses courtes, n-grammes de caractères, word pieces, sentence embeddings, régression linéaire, régression logistique, Question à réponse ouverte courte, QROC, Évaluation automatique des questions à réponses courtes, EAQRC.