La structure du contenu textuel a-t-elle un impact sur les modèles linguistiques pour le résumé automatique ?
Eve Sauvage, Sabrina Campano, Lydia Ould Ouali, Cyril Grouin
Résumé : Le traitement de séquences longues par des modèles de langues reste un sujet à part entière, y compris pour le résumé automatique, malgré des améliorations récentes. Dans ce travail, nous présentons des expériences de résumé automatique d'articles scientifiques à l'aide de modèles BART, prenant en compte les informations textuelles provenant de passages distincts des textes à résumer. Nous démontrons que la prise en compte de la structure du document améliore les performances des modèles et se rapproche des performances de LongFormer en anglais.
Mots clés : Résumé automatique, Séquences longues, Structure des textes.