Pantagruel : des encodeurs auto-supervisés unifiés pour le texte et la parole
Phuong-Hang Le, Valentin Pelloin, Arnault Chatelain, Maryem Bouziane, Mohammed Ghennai, Qianwen Guan, Kirill Milintsevich, Salima Mdhaffar, Aidan Mannion, Nils DEFAUW, Shuyue Gu, Alexandre Audibert, Marco Dinarelli, Yannick Estève, Lorraine Goeuriot, Steffen Lalande, Nicolas Hervé, Maximin Coavoux, François Portet, Etienne Ollion, Marie Candito, Maxime Peyrard, Solange Rossato, Benjamin Lecouteux, Aurélie Nardy, Gilles Sérasset, Vincent Segonne, Solène Evain, Diandra Fabre, Didier Schwab
Résumé : Nous publions les modèles Pantagruel, une nouvelle famille d’encodeurs autosupervisés pour le texte et la parole en français. Plutôt que de prédire des cibles adaptées à chaque modalité, comme des tokens textuels ou des unités de parole, Pantagruel apprend des représentations cibles contextualisées dans l’espace des caractéristiques, ce qui permet à des encodeurs spécifiques à chaque modalité de mieux capturer les régularités linguistiques et acoustiques. Des modèles distincts sont préentraînés sur de vastes corpus français, notamment Wikipedia, OSCAR et CroissantLLM pour le texte, ainsi que MultilingualLibriSpeech, LeBenchmark et INA-100k pour la parole. INA-100k est un nouveau corpus de 100 000 heures d’audio en français, issu des archives de l’Institut national de l’audiovisuel (INA), dépôt national des émissions de radio et de télévision françaises, fournissant des données audio très diversifiées. Nous évaluons Pantagruel sur un large éventail de tâches aval couvrant les deux modalités, y compris celles des principaux benchmarks français tels que FLUE ou LeBenchmark. Sur l’ensemble de ces tâches, les modèles Pantagruel obtiennent des performances compétitives, voire supérieures, par rapport à de solides bases de référence françaises comme CamemBERT, FlauBERT et LeBenchmark 2.0, tout en conservant une architecture commune capable de traiter de manière transparente des entrées de parole ou de texte. Ces résultats confirment l’efficacité d’objectifs auto-supervisés dans l’espace des caractéristiques pour l’apprentissage de représentations en français et mettent en évidence Pantagruel comme une base robuste pour la compréhension multimodale parole-texte.
Mots clés : apprentissage auto-supervisé, JEPA, data2vec, modèles de langue français, encodeurs parole et texte, apprentissage de représentations multimodales, architecture prédictive à embeddings joints, modélisation prédictive.