@inproceedings{Bazoge-Yanis-Dufour-Favre-Rouvier:JEP-TALN:2024,
    author = "Bazoge, Adrien and Yanis, Labrak and Dufour, Richard and Favre, Benoit and Rouvier, Mickael",
    title = "T\^aches et syst\`emes de s\'election automatique de r\'eponses \`a des QCM dans le domaine m\'edical : Pr\'esentation de la campagne DEFT 2024",
    booktitle = "Actes de JEP-TALN-RECITAL 2024. Actes du D\'efi Fouille de Textes@TALN 2024",
    month = "7",
    year = "2024",
    address = "Toulouse, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "1-10",
    note = "",
    abstract = "L'\'edition 2024 du D\'Efi Fouille de Textes (DEFT) met l'accent sur le d\'eveloppement de m\'ethodes pour la s\'election automatique de r\'eponses pour des questions \`a choix multiples (QCM) en fran\c{c}ais. Les m\'ethodes sont \'evalu\'ees sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions ferm\'ees avec cinq options chacune, provenant des archives d'examens de pharmacie. Dans la premi\`ere t\^ache, les participants doivent se concentrer sur des petits mod\`eles de langue (PML) avec moins de 3 milliards de param\`etres et peuvent \'egalement utiliser les corpus sp\'ecifiques au domaine m\'edical NACHOS et Wikipedia s'ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second t\^ache l\`eve la restriction sur la taille des mod\`eles de langue. Les r\'esultats, mesur\'es par l'Exact Match Ratio (EMR), varient de 1,68\\% \`a 11,74\\%, tandis que les performances selon le score de Hamming vont de 28,75\\% \`a 49,15\\% pour la premi\`ere t\^ache. Parmi les approches propos\'ees par les cinq \'equipes participantes, le meilleur syst\`eme utilise une cha{\^\i}ne combinant un classifieur CamemBERT-bio pour identifier le type de question et un syst\`eme RAG fond\'e sur Apollo 2B, affin\'e avec la m\'ethode d'adaptation LoRA sur les donn\'ees de l'ann\'ee pr\'ec\'edente.",
    keywords = "Question \`a choix multiples,Domaine m\'edical, Mod\`ele de langue large, PML, GAR, TALN",
    url = "https://talnarchives.atala.org/ateliers/2024/DEFT/1.pdf"
}