@inproceedings{Kent-Rachmat-Gerald-Zhang-Grouin:CORIA-TALN-2026:2026,
    author = "Kent Rachmat, Benedictus and Gerald, Thomas and Zhang, Zheng and Grouin, Cyril",
    title = "Les donn\'ees de calibration comptent-elles vraiment pour LoRA?",
    booktitle = "Actes de CORIA-TALN 2026. Actes de l'atelier sur l'\'evaluation des mod\`eles g\'en\'eratifs (LLM) et challenges (EvalLLM 2026)",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "111-121",
    note = "",
    abstract = "Les m\'ethodes r\'ecentes d'adaptation efficace en param\`etres, notamment LoRA, utilisent parfois quelques exemples du domaine cible pour configurer les adapteurs avant l'entra{\^\i}nement. Nous \'etudions ce que mesurent r\'eellement ces donn\'ees de calibration \`a travers une d\'ecomposition de variance men\'ee sur plusieurs mod\`eles et jeux de donn\'ees. Nos r\'esultats montrent que les signaux d'activation sont fortement domin\'es par l'identit\'e du module, qui explique jusqu'\`a 95 \\% de la variance, tandis que le choix du jeu de donn\'ees a un effet limit\'e. Les signaux de gradient suivent une dynamique diff\'erente : ils pr\'esentent de fortes interactions module{\textendash}jeu de donn\'ees, sugg\'erant une sensibilit\'e plus directe au domaine cible. Nous montrons en outre que les activations et les gradients ne conduisent pas aux m\^emes choix de modules : les modules \`a forte \'energie d'activation tendent \`a avoir une faible \'energie de gradient. Ces r\'esultats remettent en question l'id\'ee selon laquelle les activations suffisent \`a guider la configuration de LoRA et ouvrent la voie \`a des m\'ethodes d'adaptation davantage fond\'ees sur les gradients.",
    keywords = "M\'ethodologie d'\'evaluation, LoRA, d\'ecomposition de variance",
    url = "733435.pdf"
}