Utilisation de représentations vectorielles de phrases, multimodales et indépendantes de la langue, pour le résumé abstractif
Chaimae Chellaf, Salima Mdhaffar, Yannick Estève, Stéphane Huet
Résumé : Le résumé abstractif vise à générer des résumés concis en créant de nouvelles phrases, permettant ainsi une reformulation plus flexible. Cependant, cette approche peut être vulnérable aux inexactitudes, en particulier aux "hallucinations", où le modèle introduit des informations inexistantes. Dans cet article, nous exploitons des représentations vectorielles de phrases, multimodales et multilingues, dérivées de modèles pré-entraînés tels que LaBSE, SONAR et BGE-M3, pour alimenter un modèle français basé sur une version modifiée de BART. Un mécanisme d’injection d’entités nommées est introduit : il consiste à ajouter les entités nommées détectées, en version tokenisée, à l’entrée du décodeur, afin d’améliorer la cohérence factuelle du résumé généré. Notre nouveau modèle, SBARThez, est applicable aussi bien sur des entrées textuelles que vocales et traite aussi le résumé translingue. Il est compétitif par rapport aux approches basées sur les tokens, en particulier pour les langues à faibles ressources, tout en générant des résumés plus concis et plus abstractifs.
Mots clés : Résumé abstractif, translingue, multimodal, plongements de phrase