@inproceedings{Fosse:JEP-TALN:2024,
    author = "Fosse, Loic",
    title = "G\'eom\'etrie des vecteurs de t\^aches pour l'association et la combinaison de mod\`eles",
    booktitle = "Actes de JEP-TALN-RECITAL 2024. Actes de la 26\`eme Rencontre des \'Etudiants Chercheurs en Informatique  pour le Traitement Automatique des Langues",
    month = "7",
    year = "2024",
    address = "Toulouse, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "69-84",
    note = "",
    abstract = "Les adaptations de rang faible (LoRa) sont devenues un standard pour adapter des mod\`eles \`a un faible co\^ut. Elles sont de plus en plus utilis\'ees que ce soit en traitement du langage ou des images. Plusieurs \'etudes utilisent ces adaptations et cherchent \`a les combiner {\it a posteriori} de mani\`ere \`a enrichir de mani\`ere additive les propri\'et\'es d'un mod\`ele. Ces combinaisons sugg\`erent alors que nous pouvons associer les mod\`eles dans l'espace des param\`etres et que nous pouvons donner un sens \`a cela. Cette propri\'et\'e n'est que tr\`es peu v\'erifi\'ee dans la pratique et nous proposons ici plusieurs m\'etriques visant \`a caract\'eriser l'association entre les mod\`eles dans l'espace des param\`etres. Nous montrons finalement que nous pouvons corr\'eler ces m\'etriques avec les pertes de performance des mod\`eles lorsque nous r\'ealisons leurs combinaisons.",
    keywords = "transformers,adaptation de rangs faibles,similarit\'e de mod\`eles,distance de Grassmann,combinaisons de mod\`eles",
    url = "5554.pdf"
}