@inproceedings{Lepagnol-Ghannay-Gerald-Servan-Rosset:CORIA-TALN-2026:2026,
    author = "Lepagnol, Pierre and Ghannay, Sahar and Gerald, Thomas and Servan, Christophe and Rosset, Sophie",
    title = "De l{\textquoteright}importance des formats : une \'evaluation critique des formats de sorties dans les amorces des Grands Mod\`eles de Langues pour la compr\'ehension de la parole et la REN",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 2 : articles d\'ej\`a publi\'es",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "11-11",
    note = "",
    abstract = "Le format de sortie est un facteur souvent oubli\'e lors de l'\'evaluation des grands mod\`eles de langue (LLM) pour des t\^aches de remplissage de formulaire (slot-filling) ou de reconnaissance d'entit\'es nomm\'ees (REN). 
  Ce travail propose d'explorer l'impact des formats des structures des sorties g\'en\'er\'ees par les LLM.
  Nous montrons que les r\'esultats obtenus d\'ependent du format demand\'e (JSON, XML ou cl\'e-valeur).
  Une \'etude est men\'ee sur quatre t\^aches de compr\'ehension de la parole et trois t\^aches de REN, avec treize LLM instruits \`a poids ouverts utilisant des amorces (prompts) et des analyseurs en sources ouvertes.
  Cette \'evaluation centr\'ee sur les formats r\'ev\`ele des \'ecarts significatifs de 2 \`a 46 points de F1, selon les mod\`eles et les corpus.
  Enfin, nous proposons une m\'ethode \'el\'egante et peu impactante de s\'election de la meilleure paire mod\`ele-corpus en utilisant qu'une sous-partie du corpus de validation, ce qui permet de limiter le nombre d'essais.",
    keywords = "\'evaluation, amorce de LLM, formats de sortie, compr\'ehension de la parole, REN, grands mod\`eles de langues",
    url = "102.pdf"
}