Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024
Adrien Bazoge, Labrak Yanis, Richard Dufour, Benoit Favre, Mickael Rouvier
Résumé : L'édition 2024 du DÉfi Fouille de Textes (DEFT) met l'accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d'examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s'ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l'Exact Match Ratio (EMR), varient de 1,68% à 11,74%, tandis que les performances selon le score de Hamming vont de 28,75% à 49,15% pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d'adaptation LoRA sur les données de l'année précédente.
Mots clés : Question à choix multiples,Domaine médical, Modèle de langue large, PML, GAR, TALN