Étude des stéreotypes de genre dans les LLM à l'aide des Déterminants Sociaux de la Santé
Trung Hieu Ngo, Adrien Bazoge, Solen Quiniou, Pierre-Antoine Gourraud, Emmanuel Morin
Résumé : Les grands modèles de langage (LLM) affichent d'excellentes performances dans les tâches de traitement automatique des langues (TAL). Cependant, ils propagent souvent les biais inhérents à leurs données d'entraînement, ce qui peut avoir des conséquences importantes dans des domaines sensibles comme la santé. Si les méthodes d'évaluation actuelles mesurent bien les biais liés à des déterminants sociaux de la santé (DSS) pris isolément, comme le genre ou l'origine ethnique, elles négligent souvent les interactions entre ces facteurs et manquent de contextualisation. La présente étude s'intéresse aux biais des LLM en analysant les relations entre le genre et d'autres DSS au sein de dossiers de patients français. À travers une série d'expériences, nous montrons que les stéréotypes intégrés dans les modèles peuvent être mis en évidence à partir des DSS fournis en entrée, et que les LLM s'appuient sur ces préjugés pour prendre des décisions genrées. Ces résultats suggèrent qu'évaluer les interactions entre les différents DSS apporterait un éclairage complémentaire aux approches existantes pour mesurer les performances et les biais des LLM.
Mots clés : Évaluation des biais, applications dans le domaine de la santé, TAL biomédicale