@inproceedings{Beloued:CORIA-TALN-2026:2026,
    author = "Beloued, Abdelkrim",
    title = "Vers un benchmark pour une \'evaluation robuste de la cat\'egorisation de contenus audiovisuels transcrits",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "669-687",
    note = "",
    abstract = "La cat\'egorisation th\'ematique des contenus audiovisuels constitue un enjeu central pour l'analyse des tendances \'editoriales et l'exploration de grands corpus d'archives. Contrairement au texte \'ecrit, pour lequel de nombreux frameworks et benchmarks existent, les contenus audiovisuels, et en particulier leurs transcriptions, disposent de peu de ressources d\'edi\'ees, notamment en fran\c{c}ais. 
Dans cet article, nous proposons un benchmark en fran\c{c}ais adapt\'e \`a cette t\^ache. Il repose sur un jeu de donn\'ees issu de contenus audiovisuels transcrits et vise \`a \'evaluer les performances de mod\`eles de langue, qu'ils soient g\'en\'eratifs ou discriminatifs. Nous d\'ecrivons une m\'ethodologie de curation permettant de produire plusieurs variantes du jeu de donn\'ees ainsi que diff\'erents niveaux de qualit\'e, afin d'analyser le comportement des mod\`eles face \`a des donn\'ees de fiabilit\'e variable. Les exp\'erimentations men\'ees \'evaluent \`a la fois la qualit\'e du jeu de donn\'ees, les m\'ethodes de construction utilis\'ees et les performances des mod\`eles avant et apr\`es fine-tuning. Ce travail contribue ainsi \`a combler le manque de ressources d'\'evaluation pour la cat\'egorisation de contenus audiovisuels en fran\c{c}ais.",
    keywords = "Classification th\'ematique,Cat\'egorisation,Contenu audiovisuel,Transcription,Jeu de donn\'ees,Benchmark,\'Evaluation,Mod\`ele de langue,LLM",
    url = "63.pdf"
}