@inproceedings{Fagnou-Caillon-Delattre-Allauzen:CORIA-TALN:2025,
    author = "Fagnou, Erwan and Caillon, Paul and Delattre, Blaise and Allauzen, Alexandre",
    title = "Attention Cha{\^\i}n\'ee et Causale pour un Suivi Efficace des Entit\'es",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 2 : traductions d'articles publi\'es",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "8-8",
    note = "",
    abstract = "Ce travail met en \'evidence une limitation th\'eorique des transformers pour les t\^aches de suivi d'entit\'es, montrant qu'ils n\'ecessitent log2(n+ 1) couches pour g\'erer n changements d'\'etat. Pour surmonter cette contrainte, nous proposons ChaCAL (Chain and Causal Attention Layer), une modification de l'attention standard qui l'interpr\`ete comme une matrice d'adjacence, permettant de capturer efficacement les d\'ependances longues avec une seule couche. Les exp\'eriences men\'ees sur un jeu de donn\'ees synth\'etique et un autre de suivi d'objets d\'emontrent que ChaCAL surpasse les transformers classiques en r\'eduisant la profondeur du mod\`ele, tout en maintenant des performances comp\'etitives sur une t\^ache de mod\'elisation du langage. Cette approche optimise l'efficacit\'e des mod\`eles tout en r\'eduisant leur co\^ut computationnel.",
    keywords = "Suivi d'entit\'es, Transformers, M\'ecanisme d'attention efficace, Efficacit\'e computationnelle, Frugalit\'e.",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/68.pdf"
}