Vers une annotation fiable des contributions scientifiques dans les articles soumis à l’ACL Rolling Review
Julien Aubert-Béduchaud, Florian Boudin, Akiko Aizawa, Beatrice Daille, Richard Dufour
Résumé : Face à l’explosion du nombre de publications scientifiques, les chercheurs rencontrent des difficultés croissantes pour évaluer de manière efficace l’intérêt des nombreux articles disponibles. Identifier les types de contributions principales d’un article peut permettre aux lecteurs d’appréhender rapidement sa valeur et son originalité. Dans ce contexte, l’ACL Rolling Review (ARR) a mis en place une typologie obligeant les auteurs à préciser explicitement leurs contributions dans le but d’améliorer la qualité et l’équité du processus d’évaluation. Toutefois, cette typologie souffre d’un manque de définitions précises et de lignes directrices claires, ce qui engendre des étiquetages inconsistants et soulève des interrogations quant à sa fiabilité. Notre campagne de ré-annotation d’un ensemble d’articles soumis à l’ARR met en évidence des écarts significatifs entre les annotations des auteurs et celles des experts. Par ailleurs, les prédictions des grands modèles de langue (LLM) lorsque comparées à celles des experts sont proches de celles des auteurs. Ces modèles pourraient ainsi constituer une aide précieuse pour les auteurs lors de l’annotation des contributions d’articles destinées à l’ARR.
Mots clés : ACL Rolling Review, Contributions scientifiques, Typologie, Annotation