@inproceedings{Hau-Nguyen-Gravier-Sebillot:TALN:2022,
    author = "Hau Nguyen, Duc and Gravier, Guillaume and S\'ebillot, Pascale",
    title = "Filtrage et r\'egularisation pour am\'eliorer la plausibilit\'e des poids d'attention dans la t\^ache d'inf\'erence en langue naturelle",
    booktitle = "Actes de la 29e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf\'erence principale / Travaux originaux",
    month = "6",
    year = "2022",
    address = "Avignon, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "94-102",
    note = "Filtering and regularization to improve the plausibility of attention weights in NLI",
    abstract = "Nous \'etudions la plausibilit\'e d'un m\'ecanisme d'attention pour une t\^ache d'inf\'erence de phrases (entailment), c'est-\`a-dire sa capacit\'e \`a fournir une explication plausible pour un humain de la relation entre deux phrases. En s'appuyant sur le corpus Explanation-Augmented Standford Natural Language Inference, il a \'et\'e montr\'e que les poids d'attention sont peu plausibles en pratique et tendent \`a ne pas se concentrer sur les tokens importants. Nous \'etudions ici diff\'erentes approches pour rendre les poids d'attention plus plausibles, en nous appuyant sur des masques issus d'une analyse morphosyntaxique ou sur une r\'egularisation pour forcer la parcimonie. Nous montrons que ces strat\'egies permettent d'am\'eliorer sensiblement la plausibilit\'e des poids d'attention et s'av\`erent plus performantes que les approches par carte de saillance.",
    keywords = "m\'ecanisme d'attention, explicabilit\'e, plausibilit\'e, inf\'erence en langue naturelle.",
    url = "http://talnarchives.atala.org/TALN/TALN-2022/3845.pdf"
}