L'impact de l'échantillonnage sur la détectabilité des textes rédigés par une IA
Matthieu Dubois, François Yvon, Pablo Piantanida
Résumé : Les textes générés par les grands modèles de langage (LLM) étant souvent indiscernables des écrits humains, leur détection automatique suscite aujourd’hui un intérêt croissant. Bien que de nombreux détecteurs récents affichent une précision quasi parfaite (avec des scores AUROC dépassant 99\%), ces performances reposent généralement sur des paramètres de génération fixes. Cela soulève la question de leur robustesse face aux différentes stratégies de décodage. Dans cette étude, nous analysons l'impact du décodage par échantillonnage sur la détectabilité, en observant comment d'infimes variations dans la distribution des (sous-)mots affectent les résultats. Nous montrons que des ajustements mineurs (température, top-p ou nucleus) peuvent sévèrement dégrader la précision, l'AUROC chutant parfois jusqu'à 1\%. Nos conclusions mettent en lumière les failles des méthodes actuelles et soulignent le besoin d'évaluations plus rigoureuses. Nous publions nos résultats et données https://github.com/BaggerOfWords/Sampling-and-Detection.
Mots clés : Génération de Textes, Détection de textes artificiels, Théorie de l’information