Un retour d'expériences sur l'adaptation de modèles de langue à la presse régionale : connaissance n'est pas compétence !
Morgane Casanova, Amelie Knecht, Thomas Girault, Victor Klötzer, Tanguy Launay, Pascale Sebillot, laurent amsaleg, Guillaume Gravier
Résumé : Nous présentons une étude sur l'adaptation de modèles de langue (ML) généralistes à la presse régionale. En particulier, nous nous intéressons aux faits et relations spécifiques au journal appris lors de l'adaptation du ML et à l'impact sur des tâches classiques. Nous analysons les conséquences de l'adaptation du vocabulaire et de la poursuite du pré-entraînement pour deux modèles bidirectionnels récents et mettons en évidence que ces deux étapes permettent de mieux capturer les spécificités du journal et d'acquérir des connaissances. Nous évaluons ensuite l'impact sur différentes tâches canoniques montrent que l'adaptation des ML n'améliore pas les performances sur nos tâches, en dehors du cas où les données d'apprentissage sont fortement limitées.
Mots clés : modèles de langue, adaptation de vocabulaire, pré-apprentissage continu, acquisition de connaissance, classification, entités nommées, recherche d’information