Attention Chaînée et Causale pour un Suivi Efficace des Entités
Erwan Fagnou, Paul Caillon, Blaise Delattre, Alexandre Allauzen
Résumé : Ce travail met en évidence une limitation théorique des transformers pour les tâches de suivi d'entités, montrant qu'ils nécessitent log2(n+ 1) couches pour gérer n changements d'état. Pour surmonter cette contrainte, nous proposons ChaCAL (Chain and Causal Attention Layer), une modification de l'attention standard qui l'interprète comme une matrice d'adjacence, permettant de capturer efficacement les dépendances longues avec une seule couche. Les expériences menées sur un jeu de données synthétique et un autre de suivi d'objets démontrent que ChaCAL surpasse les transformers classiques en réduisant la profondeur du modèle, tout en maintenant des performances compétitives sur une tâche de modélisation du langage. Cette approche optimise l'efficacité des modèles tout en réduisant leur coût computationnel.
Mots clés : Suivi d'entités, Transformers, Mécanisme d'attention efficace, Efficacité computationnelle, Frugalité.