Une aide à la communication par pictogrammes avec prédiction sémantique
Aurélie Merlo
Résumé : Cette démonstration présente une application mobile (pour tablette et smartphone) pour des personnes souffrant de troubles du langage et/ou de la parole permettant de générer des phrases à partir de la combinaison de pictogrammes puis de verbaliser le texte généré en Text-To-Speech (TTS). La principale critique adressée par les patients utilisant les solutions existantes est le temps de composition trop long d'une phrase. Cette limite ne permet pas ou très difficilement d'utiliser les solutions actuelles en condition dialogique. Pour pallier cela, nous avons développé un moteur de génération de texte avec prédiction sémantique ne proposant à l'utilisateur que les pictogrammes pertinents au regard de la saisie en cours (e.g. après le pictogramme [manger], l'application propose les pictogrammes [pomme] ou encore [viande] correspondant à des concepts comestibles). Nous avons ainsi multiplié de 5 à 10 la vitesse de composition d'une phrase par rapport aux solutions existantes.
Abstract : This demo shows a mobile app (for smartphone and tablet) for people with language and/or speech disorders for generating sentences from the combination of icons and verbalize text generated by Text-To-Speech (TTS). The main criticism expressed by patients using existing solutions is the time too long required to compose a sentence. Hence, existing solutions are hard to use in dialogic conditions. To allieviate this problem, we have developed a text generation engine with semantic prediction. This engine only proposes to user the relevant pictograms in view of the current entry (e.g. after the pictogram [eat], the application offers pictograms [apple] or [meat] corresponding to edible concepts). We have multiplied from 5 to 10 the speed of composing a sentence compared to existing solutions.
Mots clés : génération de texte, prédiction sémantique, frame semantics, handicap, aide à la communication
Keywords : natural language generation, semantic prediction, frame semantics, disability, AAC