De la Monarchie à la Démocratie : Une Analyse des Annotations de Sentiment des LLMs dans le Discours Politique Albanais
Ueda Qorrasi, Nathalie Pernelle, Aude Grezka
Résumé : Cet article propose une analyse diachronique de l’annotation des sentiments dans le discours parle- mentaire albanais, en comparant un gold standard humain aux prédictions de modèles de langage de grande taille (LLMs). Deux corpus de 1 000 phrases chacun ont été constitués pour les périodes 1937–1938 et 2024–2025. Le corpus ancien reflète une variété dialectale non standardisée, tandis que le corpus contemporain est rédigé en albanais standard. Trois annotateurs humains ont évalué chaque phrase selon la polarité (positif, négatif, neutre), permettant d’établir une référence. Les mêmes données ont ensuite été annotées par ChatGPT et Gemini en configuration zero-shot, sans entraînement préalable. L’évaluation montre une accuracy qui est marginalement plus élevée pour les textes contemporains, pour les deux LLMs (accuracy variant de 75,40% à 79,50%). Cependant, l’étude montre que les caractéristiques des phrases mal annotées varient fortement selon les périodes.
Mots clés : analyse de sentiment, langue peu dotée, LLM, discours parlementaire, discours politique