Analyse des dynamiques internes des LLMs pour distinguer mémorisation et hallucination
Hichem Semmar, Eric Sanjuan
Résumé : La mémorisation dans les grands modèles de langage (LLMs) soulève des enjeux importants dans les domaines sensibles impliquant la propriété intellectuelle (IP) ou des données personnelles, où la fiabilité et la traçabilité des contenus générés sont essentielles. Il demeure toutefois difficile de déterminer si une réponse résulte d'une généralisation ou d'une exposition préalable aux données d'entraînement sans accès direct à celles-ci. Dans ce travail, on étudie si des signaux internes permettent de caractériser un comportement de type mémorisation dans des modèles à poids ouverts. En nous appuyant sur FACTUM, on analyse des métriques internes telles que PFS et PAS afin d'étudier comment les modèles équilibrent mémoire paramétrique et information contextuelle. À l'aide d'un benchmark dérivé de la littérature COVID-19 soumise à des restrictions IP, on évalue des modèles Llama 3.1 8B, Llama 3.2 3B et Ministral 3-3B à travers des métriques de confiance classiques, notamment la perplexité, l'entropie, l'énergie et P(True). Les résultats montrent que les signaux internes et probabilistes corrèlent avec la justesse des réponses, suggérant que les dynamiques internes peuvent fournir des indices utiles pour analyser la mémorisation et l'exposition potentielle aux données d'entraînement, avec des implications pour l'audit des modèles et l'évaluation juridique.
Mots clés : Grands modèles linguistiques, détection des hallucinations, mémorisation, exposition des données d'entraînement, interprétabilité des modèles, estimation de l'incertitude, perplexité entropie, FACTUM, mémoire paramétrique, réglage fin, propriété intellectuelle