@inproceedings{Simoulin-Crabbe:TALN:2021,
    author = "Simoulin, Antoine and Crabb\'e, Benoit",
    title = "Un mod\`ele Transformer G\'en\'eratif Pr\'e-entrain\'e pour le \\_\\_\\_\\_\\_\\_ fran\c{c}ais",
    booktitle = "Actes de la 28e Conf\'erence sur le Traitement Automatique des Langues Naturelles. Volume 1 : Articles courts",
    month = "6",
    year = "2021",
    address = "Lille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "141-150",
    note = "Generative Pre-trained Transformer in \\_\\_\\_\\_\\_\\_ (French)  We introduce a French adaptation from the well-known GPT model",
    abstract = "Nous proposons une adaptation en fran\c{c}ais du fameux mod\`ele Generative Pre-trained Transformer (GPT). Ce dernier appartient \`a la cat\'egorie des architectures transformers qui ont significativement transform\'e les m\'ethodes de traitement automatique du langage. Ces architectures sont en particulier pr\'e-entra{\^\i}n\'ees sur des t\^aches auto-supervis\'ees et sont ainsi sp\'ecifiques pour une langue donn\'ee. Si certaines sont disponibles en fran\c{c}ais, la plupart se d\'eclinent avant tout en anglais. GPT est particuli\`erement efficace pour les t\^aches de g\'en\'eration de texte. Par ailleurs, il est possible de l'appliquer \`a de nombreux cas d'usages. Ses propri\'et\'es g\'en\'eratives singuli\`eres permettent de l'utiliser dans des conditions originales comme l'apprentissage sans exemple qui ne suppose aucune mise \`a jour des poids du mod\`ele, ou modification de l'architecture.",
    keywords = "GPT, G\'en\'eratif, Transformer, Pr\'e-entra{\^\i}n\'e, fran\c{c}ais.",
    url = "http://talnarchives.atala.org/TALN/TALN-2021/7.pdf"
}