@inproceedings{Gigant-Guinaudeau-Decombas-Dufaux:CORIA-TALN:2025,
    author = "Gigant, Th\'eo and Guinaudeau, Camille and Decombas, Marc and Dufaux, Fr\'ed\'eric",
    title = "Att\'enuer l'impact de la qualit\'e des r\'ef\'erences sur l'\'evaluation des syst\`emes de r\'esum\'e gr\^ace aux m\'etriques sans r\'ef\'erence",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 2 : traductions d'articles publi\'es",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "9-9",
    note = "",
    abstract = "Les m\'etriques d'\'evaluation sont utilis\'ees comme des indicateurs pour \'evaluer les syst\`emes de r\'esum\'e abstractif lorsque les annotations sont trop co\^uteuses. Pour \^etre utiles, ces m\'etriques doivent permettre une \'evaluation fine, pr\'esenter une forte corr\'elation avec les annotations humaines, et id\'ealement ne pas d\'ependre de la qualit\'e des r\'ef\'erences. Cependant la plupart des m\'etriques d'\'evaluation standard pour le r\'esum\'e sont bas\'ees sur des r\'ef\'erences, et les m\'etriques sans r\'ef\'erences sont faiblement corr\'el\'ees \`a la pertinence des r\'esum\'es, en particulier pour des documents longs. Dans cet article, nous introduisons une m\'etrique sans r\'ef\'erence qui corr\`ele bien avec la pertinence telle qu'\'evalu\'ee par des humains, tout en \'etant tr\`es peu co\^uteuse \`a calculer. Nous montrons \'egalement que cette m\'etrique peut \^etre utilis\'ee en compl\'ement de m\'etriques bas\'ees sur des r\'ef\'erences afin d'am\'eliorer leur robustesse dans des situations o\`u la qualit\'e des r\'ef\'erences est faible.",
    keywords = "\'evaluation, r\'esum\'e abstractif, m\'etrique",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/66.pdf"
}