Détection des omissions dans les résumés médicaux générés par les grands modèles de langue
Achir Oukelmoun, Nasredine Semmar, Gaël de Chalendar, Clement Cormi, Mariame Oukelmoun, Eric Vibert, Marc-Antoine Allard
Résumé : Les grands modèles de langue (LLMs) sont de plus en plus utilisés pour résumer des textes médicaux, mais ils risquent d'omettre des informations critiques, compromettant ainsi la prise de décision. Contrairement aux hallucinations, les omissions concernent des faits essentiels absents. Cet article introduit un jeu de données validé en français pour détecter ces omissions et propose EmbedKDECheck, une approche frugale et sans référence. A l'opposé des méthodes basées sur les LLMs, cette approche utilise des plongements lexicaux issus d'un modèle de Traitement Automatique des Langues (TAL) léger combinant FastText et Word2Vec selon un algorithme précis couplé à un modèle non-supervisé fournissant un score d'anomalie. Cette approche permet d'identifier efficacement les omissions à faible coût computationnel. EmbedKDECheck a été évalué face aux frameworks de l'état de l'art (SelfCheckGPT, ChainPoll, G-Eval et GPTScore) et a montré de bonnes performances. Notre méthode renforce l'évaluation de la fiabilité des LLMs et contribue à une prise de décision médicale plus sûre.
Mots clés : LLMs, détection d'omissions, évaluation, qualité des résumés médicaux, IA frugale.