@inproceedings{Labrak-Bazoge-Daille-Dufour-Morin-Rouvier:CORIA-TALN:2023,
    author = "Labrak, Yanis and Bazoge, Adrien and Daille, B\'eatrice and Dufour, Richard and Morin, Emmanuel and Rouvier, Mickael",
    title = "T\^aches et syst\`emes de d\'etection automatique des r\'eponses correctes dans des QCMs li\'es au domaine m\'edical : Pr\'esentation de la campagne DEFT 2023",
    booktitle = "Actes de CORIA-TALN 2023. Actes du D\'efi Fouille de Textes@TALN2023",
    month = "6",
    year = "2023",
    address = "Paris, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "57-67",
    note = "",
    abstract = "L'\'edition 2023 du D\'Efi Fouille de Textes (DEFT) s'est concentr\'ee sur le d\'eveloppement de m\'ethodes permettant de choisir automatiquement des r\'eponses dans des questions \`a choix multiples (QCMs) en fran\c{c}ais. Les approches ont \'et\'e \'evalu\'ees sur le corpus FrenchMedMCQA, int\'egrant un ensemble de QCMs avec, pour chaque question, cinq r\'eponses potentielles, dans le cadre d'annales d'examens de pharmacie.Deux t\^aches ont \'et\'e propos\'ees. La premi\`ere consistait \`a identifier automatiquement l'ensemble des r\'eponses correctes \`a une question. Les r\'esultats obtenus, \'evalu\'es selon la m\'etrique de l'Exact Match Ratio (EMR), variaient de 9,97\\% \`a 33,76\\%, alors que les performances en termes de distance de Hamming s'\'echelonnaient de 24,93 \`a 52,94. La seconde t\^ache visait \`a identifier automatiquement le nombre exact de r\'eponses correctes. Les r\'esultats, quant \`a eux, \'etaient \'evalu\'es d'une part avec la m\'etrique de F1-Macro, variant de 13,26\\% \`a 42,42\\%, et la m\'etrique (Accuracy), allant de 47,43\\% \`a 68,65\\%. Parmi les approches vari\'ees propos\'ees par les six \'equipes participantes \`a ce d\'efi, le meilleur syst\`eme s'est appuy\'e sur un mod\`ele de langage large de type LLaMa affin\'e en utilisant la m\'ethode d'adaptation LoRA.",
    keywords = "Question \`a choix multiples, Domaine m\'edical, Mod\`ele de langue large, TALN",
    url = "http://talnarchives.atala.org/ateliers/2023/DEFT/483407.pdf"
}