Mise en place d'un modèle compact à architecture Transformer pour la détection jointe des intentions et des concepts dans le cadre d'un système interactif de questions-réponses
Nadège Alavoine, Arthur Babin
Résumé : Les tâches de détection d'intention et d'identification des concepts sont toutes deux des éléments importants de la compréhension de la parole. Elles sont souvent réalisées par deux modules différents au sein d'un pipeline. L'apparition de modèles réalisant conjointement ces deux tâches a permis d'exploiter les dépendances entre elles et d'améliorer les performances obtenues. Plus récemment, des modèles de détection jointe reposant sur des architectures Transformer ont été décrits dans la littérature. Par ailleurs, avec la popularité et taille croissante des modèles Transformer ainsi que les inquiétudes ergonomiques et écologiques grandissantes, des modèles compacts ont été proposés. Dans cet article, nous présentons la mise en place et l'évaluation d'un modèle compact pour la détection jointe de l'intention et des concepts. Notre contexte applicatif est celui d'un système interactif de questions-réponses français.
Mots clés : Détection jointe, Détection d'intention, Identification de concepts, Transformer, BERT joint, Classifieur DIET, CamemBERT, FrALBERT