SCOPE : un cadre d'entrainement auto-supervisé pour améliorer la fidélité dans la génération conditionnelle de texte
Florian Le Bronnec, Song Duong, Alexandre Allauzen, Laure Soulier, Vincent Guigue, Alberto Lumbreras, Patrick Gallinari
Résumé : Les modèles de langage (LLM) produisent souvent des hallucinations lors de la génération conditionnelle de texte, introduisant des informations non fidèles ou non ancrées dans le contexte. Ce phénomène est particulièrement problématique en résumé automatique et en génération texte-à-partirde-données, où les sorties doivent refléter précisément l'entrée. Nous proposons SCOPE, une méthode auto-supervisée innovante générant automatiquement des exemples non fidèles plausibles pour affiner les modèles par apprentissage par préférences. SCOPE pousse ainsi les modèles à préférer les sorties fidèles. Nous évaluons notre approche sur divers jeux de données de génération texte-à-partirde-données et de résumé. Simple à implémenter, notre méthode nettement les alternatives existantes selon des métriques automatiques et des évaluations humaines ainsi qu'avec GPT-4.
Mots clés : Génération conditionnelle de texte, Fidélité, Hallucinations, Auto-supervision.