@inproceedings{Zheng-Warichet-Helbert-Cerisara:CORIA-TALN-2026:2026,
    author = "Zheng, Estelle and Warichet, S\'ebastien and Helbert, Emmanuel and Cerisara, Christophe",
    title = "Oui \`a l'\'Echelle, Non \`a la M\'emoire: Affinage L\'eger des LLMs par R\'eseaux Lat\'eraux",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "419-438",
    note = "",
    abstract = "L'affinage des grands mod\`eles de langues (LLMs) est souvent limit\'e par la m\'emoire  disponible sur les GPUs. 
Les m\'ethodes d'affinage fin efficace (PEFT), telles que QLoRA, r\'eduisent le nombre de param\`etres pouvant \^etre entra{\^\i}n\'es, tout en utilisant une grande quantit\'e de m\'emoire lors de l'entra{\^\i}nement d\^u 
\`a la r\'etropropagation du mod\`ele dans son int\'egralit\'e. 
Nous revisitons l'architecture Ladder (LST), une technique PEFT rarement explor\'ee qui ajoute un petit r\'eseau lat\'eral. Nous d\'emontrons que sa pente des lois d'\'echelles correspond \`a celle de QLoRA, tout en r\'eduisant son pic d'utilisation m\'emoire. 
Sur la t\^ache de r\'esolutions des maths, LST a des performances proches de QLoRA, tout en offrant une possibilit\'e d'affiner sur des GPU grand public.
Nous exploitons une extension de l'architecture de la Ladder en introduisant xLadder, une variante qui augmente la profondeur du r\'eseau lat\'eral tout en raccourcissant sa cha{\^\i}ne de pens\'ee (CoT).",
    keywords = "affinage, efficacit\'e, peu co\^uteux, LLM",
    url = "15.pdf"
}