@inproceedings{Le-Pelloin-Chatelain-Bouziane-Ghennai-Guan-Milintsevich-Mdhaffar-Mannion-DEFAUW-Gu-Audibert-Dinarelli-Esteve-Goeuriot-Lalande-Herve-Coavoux-Portet-Ollion-Candito-Peyrard-Rossato-Lecouteux-Nardy-Serasset-Segonne-Evain-Fabre-Schwab:CORIA-TALN:2026,
    author = "Le, Phuong-Hang and Pelloin, Valentin and Chatelain, Arnault and Bouziane, Maryem and Ghennai, Mohammed and Guan, Qianwen and Milintsevich, Kirill and Mdhaffar, Salima and Mannion, Aidan and DEFAUW, Nils and Gu, Shuyue and Audibert, Alexandre and Dinarelli, Marco and Estève, Yannick and Goeuriot, Lorraine and Lalande, Steffen and Hervé, Nicolas and Coavoux, Maximin and Portet, François and Ollion, Etienne and Candito, Marie and Peyrard, Maxime and Rossato, Solange and Lecouteux, Benjamin and Nardy, Aurélie and Sérasset, Gilles and Segonne, Vincent and Evain, Solène and Fabre, Diandra and Schwab, Didier",
    title = "Pantagruel : des encodeurs auto-supervisés unifiés pour le texte et la parole",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33ème Conférence sur le Traitement Automatique des Langues Naturelles.  Volume 2 : articles déjà publiés",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "38-39",
    note = "",
    abstract = "Nous publions les modèles Pantagruel, une nouvelle famille d’encodeurs autosupervisés pour le texte et la parole en français. Plutôt que de prédire des cibles adaptées à chaque modalité, comme des tokens textuels ou des unités de parole, Pantagruel apprend des représentations cibles contextualisées dans l’espace des caractéristiques, ce qui permet à des encodeurs spécifiques à chaque modalité de mieux capturer les régularités linguistiques et acoustiques. Des modèles distincts sont préentraînés sur de vastes corpus français, notamment Wikipedia, OSCAR et CroissantLLM pour le texte, ainsi que MultilingualLibriSpeech, LeBenchmark et INA-100k pour la parole. INA-100k est un nouveau corpus de 100 000 heures d’audio en français, issu des archives de l’Institut national de l’audiovisuel (INA), dépôt national des émissions de radio et de télévision françaises, fournissant des données audio très diversifiées. Nous évaluons Pantagruel sur un large éventail de tâches aval couvrant les deux modalités, y compris celles des principaux benchmarks français tels que FLUE ou LeBenchmark. Sur l’ensemble de ces tâches, les modèles Pantagruel obtiennent des performances compétitives, voire supérieures, par rapport à de solides bases de référence françaises comme CamemBERT, FlauBERT et LeBenchmark 2.0, tout en conservant une architecture commune capable de traiter de manière transparente des entrées de parole ou de texte. Ces résultats confirment l’efficacité d’objectifs auto-supervisés dans l’espace des caractéristiques pour l’apprentissage de représentations en français et mettent en évidence Pantagruel comme une base robuste pour la compréhension multimodale parole-texte.",
    keywords = "apprentissage auto-supervisé, JEPA, data2vec, modèles de langue français, encodeurs parole et texte, apprentissage de représentations multimodales, architecture prédictive à embeddings joints, modélisation prédictive.",
    url = "https://talnarchives.atala.org/TALN/TALN-2026/55.pdf"
}