Adaptation de modèles de langage à l’utilisateur et au registre de langage : expérimentations dans le domaine de l’aide au handicap
Tonio Wandmacher, Jean-Yves Antoine
Résumé : Les modèles markoviens de langage sont très dépendants des données d’entraînement sur lesquels ils sont appris. Cette dépendance, qui rend difficile l’interprétation des performances, a surtout un fort impact sur l’adaptation à chaque utilisateur de ces modèles. Cette question a déjà été largement étudiée par le passé. En nous appuyant sur un domaine d’application spécifique (prédiction de texte pour l’aide à la communication pour personnes handicapées), nous voudrions l’étendre à la problématique de l’influence du registre de langage. En considérant des corpus relevant de cinq genres différents, nous avons étudié la réduction de cette influence par trois modèles adaptatifs différents : (a) un modèle cache classique favorisant les n derniers mots rencontrés, (b) l’intégration au modèle d’un dictionnaire dynamique de l’utilisateur et enfin (c) un modèle de langage interpolé combinant un modèle général et un modèle utilisateur mis à jour dynamiquement au fil des saisies. Cette évaluation porte un système de prédiction de texte basé sur un modèle trigramme.
Abstract : Statistical language models (LM) are highly dependent on their training resources. This makes it not only difficult to interpret evaluation results, it also has a strong impact on users of a LM-based application. This question has already been studied by others. Focussing on a specific domain (text prediction in a communication aid for handicapped persons) we want to extend it to the influence of the language register. Considering corpora from five different registers, we discuss three methods to adapt a language model to its actual language resource hereby reducing the effect of training dependency: (a) a simple cache model augmenting the probability of the n last inserted words, (b) a dynamic user dictionary, keeping every unseen word and (c) an interpolated LM combining a base model with a currently updated user model. Our evaluation is based on the results obtained from a text prediction system working on a trigram LM.
Mots clés : modèles de langage, adaptation, utilisateur, thème, aide au handicap
Keywords : language model, dynamic adaptation, user, theme, AAC systems