Affinage efficace des paramètres pour l’adaptation des grands modèles de langues au sens commun culturel
Gabrielle Le Bellier
Résumé : Les modèles de langue étant utilisés par des utilisateurs issus de cultures variées à travers le monde, il est nécessaire de s'interroger sur leur capacité à s’adapter aux différentes cultures. Dans cet article, nous procédons à un état de l’art sur l'évaluation de biais culturels et l’alignement culturel des modèles. En remarquant que l’alignement culturel requiert souvent des capacités de calcul importantes, nous nous penchons sur deux méthodes d’affinage efficace des paramètres : le prompt-tuning et le prefix-tuning. Notre méthodologie propose un alignement léger sur les connaissances culturelles de sens commun, généralisables à un groupe culturel, incorporées dans des questions à choix multiples. En affinant un modèle par culture, nous améliorons les performances culturelles en entraînant peu de paramètres. Les modèles affinés sur une culture sont aussi plus performants sur les autres cultures.
Mots clés : alignement culturel, affinage efficace des paramètres, soft prompts