Analyse de la littérature sur les stratégies d'augmentation de données dans des contextes à faible ressources
Benedictus Kent Rachmat
Résumé : Les grands modèles de langage (LLMs) ont révolutionné le traitement automatique des langues (TAL), mais leur succès demeure largement limité aux domaines généralistes disposant de ressources abondantes. En revanche, l'application des LLMs à des domaines spécialisés à faibles ressources soulève des défis majeurs liés à la rareté des données d'entraînement, à la dérive de domaine et aux contraintes terminologiques strictes. Cette revue propose un état de l'art des approches actuelles pour le question-réponse (QA) en contexte spécialisé et à faibles ressources avec les LLMs. Nous commençons par analyser la couverture et la représentativité des jeux de données de QA spécialisés en les comparant à de grands ensembles de référence, que nous appelons ParentQA . Sur la base de cette analyse, nous passons en revue les stratégies centrées sur les données visant à accroître la diversité des entrées, notamment à travers des techniques d'augmentation. Nous abordons également les métriques d'évaluation adaptées aux tâches spécialisées et les considérations éthiques associées. En cartographiant les méthodologies existantes et en identifiant les questions de recherche ouvertes, cette étude vise à orienter les futurs travaux sur l'adaptation des LLMs pour une utilisation robuste et responsable dans des environnements contraints en ressources et spécifiques à un domaine.
Mots clés : Grands modèles de langue, Faible ressources, Augmentation de Données, Adaptation au domaine, Méthodes d'évaluation