@inproceedings{Rodriguez-Huet-Favre-Rouvier:CORIA-TALN:2025,
    author = "Rodriguez, Ricardo and Huet, St\'ephane and Favre, Benoit and Rouvier, Mickael",
    title = "\'Etude comparative de r\'eponses humaines et de grands mod\`eles de langue \`a des QCM en pharmacie",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "331-347",
    note = "",
    abstract = "Cet article propose d'\'etudier les r\'eponses g\'en\'er\'ees par plusieurs Grands Mod\`eles de Langue \`a un ensemble de Questions \`a Choix Multiple en pharmacie. Ces r\'eponses sont compar\'ees aux r\'eponses donn\'ees par des \'etudiants, afin de comprendre quelles sont les questions difficiles pour les mod\`eles par rapport aux humains et pour quelles raisons. Nous utilisons les logits internes des mod\`eles pour construire des distributions de probabilit\'e et analyser les caract\'eristiques principales qui d\'eterminent la difficult\'e des questions via une approche statistique. Nous apportons aussi une extension du jeu de donn\'ees FRENCH MEDMCQA avec des paires question-r\'eponses en pharmacie, enrichies avec les r\'eponses des \'etudiants, la ponctuation assign\'ee aux r\'eponses, les th\'ematiques cliniques correspondantes et des annotations manuelles sur la structure et certains traits s\'emantiques des questions.",
    keywords = "question \`a choix multiples, grands mod\`eles de langue, frenchmedmcqa, m\'edical, pharmacologie",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/152.pdf"
}