Un formalisme fondé sur des approximations du problème du sac à dos pour modéliser l'alignement
Ayoub Hammal, Pierre Zweigenbaum, Caio Corro
Résumé : Des travaux antérieurs ont conclu que la majeure partie des capacités de génération des grands modèles de langue (\emph{large language models}, LLM) est apprise lors du pré-entraînement. Cependant, les LLM nécessitent une étape d'alignement supplémentaire afin de satisfaire aux exigences des tâches cibles ainsi qu’aux préférences stylistiques, entre autres. Avec la croissance du nombre de paramètres des LLM, le coût computationnel des procédures d’alignement devient de plus en plus prohibitif. Dans ce travail, nous proposons une nouvelle approche permettant d'éviter ces coûts grâce à un alignement implicite du LLM lors de la génération. Notre approche se fonde sur l'utilisation d'un petit LLM auxiliaire correctement aligné à coût bien moindre et sur la construction d'un mélange des distributions de sortie des deux LLM. Le calcul des paramètres de la loi de mélange est réduit à un problème de sac à dos binaire. Grâce à ce formalisme, nous dérivons des approximations primales et duales de la loi de mélange optimale. Nous montrons expérimentalement les bénéfices de notre méthode, tant en termes de performance sur les tâches cibles que de vitesse de génération en utilisant un décodage spéculatif.
Mots clés : Grands modèles de langue, problème du sac à dos, alignement de modèle de langue