@inproceedings{Schaub-Hudecek-Stancl-Dusek-Paroubek:TALN:2021,
    author = "Schaub, L\'eon-Paul and Hudecek, Vojtech and Stancl, Daniel and Dusek, Ondrej and Paroubek, Patrick",
    title = "D\'efinition et d\'etection des incoh\'erences du syst\`eme dans les dialogues orient\'es t\^ache.",
    booktitle = "Actes de la 28e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : Articles courts",
    month = "6",
    year = "2021",
    address = "Lille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "37-47",
    note = "We present experiments on automatically detecting inconsistent behavior of task-oriented dialogue systems from the context",
    abstract = "D\'efinition et d\'etection des incoh\'erences du syst\`eme dans les dialogues orient\'es t\^ache. Nous pr\'esentons des exp\'eriences sur la d\'etection automatique des comportements incoh\'erents des syst\`emes de dialogues orient\'es t\^ache \`a partir du contexte. Nous enrichissons les donn\'ees bAbI/DSTC2 (Bordes et al., 2017) avec une annotation automatique des incoh\'erences de dialogue, et nous d\'emontrons que les incoh\'erences sont en corr\'elation avec les dialogues rat\'es. Nous supposons que l'utilisation d'un historique de dialogue limit\'e et la pr\'ediction du prochain tour de l'utilisateur peuvent am\'eliorer la classification des incoh\'erences. Si les deux hypoth\`eses sont confirm\'ees pour un mod\`ele de dialogue bas\'e sur les r\'eseaux de m\'emoire, elles ne le sont pas pour un entra{\^\i}nement bas\'e sur le mod\`ele de langage GPT-2, qui b\'en\'eficie le plus de l'utilisation de l'historique complet du dialogue et obtient un score de pr\'ecision de 0,99.",
    keywords = "syst\`eme de dialogue orient\'e-t\^ache, incoh\'erences, mod\`ele utilisateur, apprentissage  automatique.",
    url = "http://talnarchives.atala.org/TALN/TALN-2021/32.pdf"
}