Les données de calibration comptent-elles vraiment pour LoRA?
Benedictus Kent Rachmat, Thomas Gerald, Zheng Zhang, Cyril Grouin
Résumé : Les méthodes récentes d'adaptation efficace en paramètres, notamment LoRA, utilisent parfois quelques exemples du domaine cible pour configurer les adapteurs avant l'entraînement. Nous étudions ce que mesurent réellement ces données de calibration à travers une décomposition de variance menée sur plusieurs modèles et jeux de données. Nos résultats montrent que les signaux d'activation sont fortement dominés par l'identité du module, qui explique jusqu'à 95 % de la variance, tandis que le choix du jeu de données a un effet limité. Les signaux de gradient suivent une dynamique différente : ils présentent de fortes interactions module–jeu de données, suggérant une sensibilité plus directe au domaine cible. Nous montrons en outre que les activations et les gradients ne conduisent pas aux mêmes choix de modules : les modules à forte énergie d'activation tendent à avoir une faible énergie de gradient. Ces résultats remettent en question l'idée selon laquelle les activations suffisent à guider la configuration de LoRA et ouvrent la voie à des méthodes d'adaptation davantage fondées sur les gradients.
Mots clés : Méthodologie d'évaluation, LoRA, décomposition de variance