talnarchives

Une archive numérique francophone des articles de recherche en Traitement Automatique de la Langue.

Notation automatique de réponses courtes d’étudiants : présentation de la campagne DEFT 2022

Cyril Grouin, Gabriel Illouz

Résumé : La correction de copies d’étudiants est une tâche coûteuse en temps pour l’enseignant. Nous proposons deux tâches d’attribution automatique de notes à des réponses courtes d’étudiants : une tâche classique d’entraînement de système et d’application sur le corpus de test, et une tâche d’amélioration continue du système avec interrogation d’un serveur d’évaluation. Les corpus se composent de réponses courtes d’étudiants à des questions en programmation web et bases de données, et sont anonymes. Quatre équipes ont participé à la première tâche. Les meilleures précisions de chaque équipe varient de 0,440 à 0,756 pour une précision moyenne de 0,542 et une médiane de 0,524. En raison de la complexité de la deuxième tâche, une seule équipe a participé, mais les résultats soumis ne sont pas exploitables.

Mots clés : Correction automatique, réponses courtes d’étudiants, campagne d’évaluation.