Trois méthodes Sorbonne et SNCF pour la résolution de QCM (DEFT2024)
Tom Rousseau, Marceau Hernandez, Iglika Stoupak, Angelo Mendoca-Manhoso, Andrea Blivet, Chang Liu, Toufik Boubehziz, Corina Chutaux, Gaël Guibon, Gaël Lejeune, Luce Lefeuvre
Résumé : Cet article décrit la participation de l'équipe Sorbonne-SNCF au Défi Fouille de Textes 2024, se concentrant sur la correction automatique de QCM en langue française. Le corpus, constitué de questions de pharmacologie, a été reformulé en assertions. Nous avons employé des techniques avancées de traitement du langage naturel pour traiter les réponses. Trois approches principales, Nachos_LLM, TTGV_byfusion, et TTGV_ollama_multilabel, sont présentées avec des scores EMR respectifs de 2.94, 4.19 et 1.68. Les résultats obtenus montrent des niveaux de précision différents, en soulignant les limites des approches multi-étiquettes. Des suggestions d'amélioration incluent l'ajustement des modèles de langage et des critères de classification.
Mots clés : QCM, assertions, plongements, similarité, n-grammes, Grand Modèle de Langue