@inproceedings{Baneras-Roux-Rouvier-Wottawa-Dufour:TALN:2022,
    author = {Ba\\textasciitilde neras Roux, Thibault and Rouvier, Micka\"el and Wottawa, Jane and Dufour, Richard},
    title = "Mesures linguistiques automatiques pour l'\'evaluation des syst\`emes de Reconnaissance Automatique de la Parole",
    booktitle = "Actes de la 29e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf\'erence principale / Travaux originaux",
    month = "6",
    year = "2022",
    address = "Avignon, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "165-172",
    note = "Automated linguistic measures for automatic speech recognition systems' evaluation",
    abstract = "L'\'evaluation de transcriptions issues de syst\`emes de Reconnaissance Automatique de la Parole (RAP) est un probl\`eme difficile et toujours ouvert, qui se r\'esume g\'en\'eralement \`a ne consid\'erer que le WER. Nous pr\'esentons dans cet article un ensemble de m\'etriques, souvent utilis\'ees dans d'autres t\^aches en traitement du langage naturel, que nous proposons d'appliquer en compl\'ement du WER en RAP. Nous introduisons en particulier deux mesures consid\'erant les aspects morpho-syntaxiques et s\'emantiques des mots transcrits : 1) le POSER (Part-of-speech Error Rate), qui \'evalue les aspects grammaticaux, et 2) le EmbER (Embedding Error Rate), une mesure originale qui reprend celle du WER en apportant une pond\'eration en fonction de la distance s\'emantique des mots mal transcrits. Afin de montrer les informations suppl\'ementaires qu'elles apportent, nous proposons \'egalement une analyse qualitative d\'ecrivant l'apport au niveau linguistique de mod\`eles de langage utilis\'es pour le r\'eordonnancement d'hypoth\`eses de transcription a posteriori.",
    keywords = "Reconnaissance automatique de la parole, m\'etriques d'\'evaluation, plongements  lexicaux, distance s\'emantique, \'etiquetage morpho-syntaxique.",
    url = "http://talnarchives.atala.org/TALN/TALN-2022/1911.pdf"
}