LIS@DEFT'23 : les LLMs peuvent-ils répondre à des QCM ? (a) oui; (b) non; (c) je ne sais pas.
Benoit Favre
Résumé : Cet article présente un ensemble d'expériences sur la tâche de réponse à des questions à choix multiple de DEFT 2023. Des grands modèles de langage sont amorcés avec les questions afin de collecter les réponses générées. Les résultats montrent que les modèles ouverts sans affinage obtiennent des performances similaires à celles d'un système supervisé fondé sur BERT, et que l'affinage sur les données de la tâche apporte des améliorations.
Mots clés : Questions à choix multiple, DEFT, grands modèles de langage, Amorce, GPT, Affinage LoRA