Modèles neuronaux hybrides pour la modélisation de séquences : le meilleur de trois mondes
Marco Dinarelli, Loïc Grobol
Résumé : Nous proposons une architecture neuronale avec les caractéristiques principales des modèles neuronaux de ces dernières années : les réseaux neuronaux récurrents bidirectionnels, les modèles encodeurdécodeur, et le modèle Transformer. Nous évaluons nos modèles sur trois tâches d’étiquetage de séquence, avec des résultats aux environs de l’état de l’art et souvent meilleurs, montrant ainsi l’intérêt de cette architecture hybride pour ce type de tâches.
Mots clés : Réseaux neuronaux, modélisation de séquences, MEDIA, WSJ, TIGER.