Une revue sur les hallucinations des LLM
Eleni Metheniti, Swarnadeep Bhar, Nicholas Asher
Résumé : Nous présentons une taxonomie des hallucinations dans les LLM, classées en trois catégories : hallucinations infidèles, contradictions factuelles et fabrications factuelles. Ces hallucinations peuvent se produire à cause des données de pré-entraînement et d'alignement, conduisant à des informations erronées, des préjugés et des erreurs de connaissance. Les méthodes d'entraînement peuvent introduire des problèmes tels que l'ajustement excessif, les effets boule de neige ou la sycophantie. Les stratégies de décodage peuvent également rendre les modèles trop confiants et enclins à attribuer des probabilités aux résultats incorrects. Une bibliographie sur la détection et atténuation des hallucinations est présentée: des méthodes de TALN, telles que la vérification des faits et la classification, de même que des méthodes basées sur les LLM. Les solutions d'atténuation des hallucinations comprennent l'amélioration de la qualité des données de pré-entraînement, l'injection de nouvelles connaissances (par ex. avec RAG), l'optimisation, SFT et RLHF, ainsi que des méthodes de décodage.
Mots clés : hallucinations des LLM, détection des hallucinations, atténuation des hallucinations