Vers un contrôle plus robuste de la longueur de génération pour les modèles de langue auto-régressifs
Ivanhoé Botcazou, Tassadit Amghar, Sylvain Lamprier, Frédéric Saubion
Résumé : Les modèles de langue atteignent aujourd’hui un niveau remarquable en génération textuelle, ce- pendant le contrôle précis de la longueur produite demeure un défi ouvert. Dans un premier temps nous revisitons la méthode RPE, fondée sur un décompte discret de positions inversées, informant le modèle du nombre de tokens lui restant à générer à chaque instant. Certaines instabilités liées à cette méthode et sa faible généralisation hors distribution, nous ont poussées à introduire un nouveau procédé nommé PRE. Notre méthode repose sur une représentation continue de l’avancement gé- nératif en établissant un lien explicite entre des vecteurs d’« impatience » et des principes issus de la théorie du signal. PRE s’implémente via une modification légère de l’entrée d’un Transformer et offre un contrôle précis de la longueur cible, tout en préservant la qualité sémantique. Nos résultats expérimentaux s’appuient sur des tâches de résumé et de génération de questions.
Mots clés : length control, language models, Transformer, abstractive summarization, question generation.