Reformuler des expressions multimodales
Élisabeth Godbert
Résumé : Le domaine des "Interfaces Utilisateur Intelligentes" a vu ces dernières années la réalisation de systèmes complexes mettant en oeuvre une interaction multimodale dans laquelle les différentes techniques de communication (textes, gestes, parole, sélection graphique) sont coordonnées en entrée et/ou en sortie. Nous nous intéressons ici aux systèmes qui prennent en entrée des expressions multimodales et en produisent une reformulation en une expression unimodale sémantiquement équivalente. Nous proposons une modélisation du processus de traduction d'expressions multimodales en expressions unimodales, et nous décrivons la mise en oeuvre d'un processus de ce type dans un logiciel d'aide à l'apprentissage du langage.
Abstract : These last years, "Intelligent User Interfaces" have been developped, in which input and/or output multimodality facilitates human-machine communication (written language, speech, graphic selection, gestures). This paper is concerned with systems in which multimodal input is translated into unimodal expressions semantically equivalent. A model for such a process is proposed. Then, an example is described, with an educational software enabling multimodal communication and implementing this process.
Mots clés : Langage multimodal, coordination des modes, expressions sémantiquement équivalentes
Keywords : Multimodal language, coordination of modalities, semantic equivalence