@inproceedings{Tighidet-Mogini-Mei-Gallinari-Piwowarski:CORIA-TALN:2025,
    author = "Tighidet, Zineddine and Mogini, Andrea and Mei, Jiali and Gallinari, Patrick and Piwowarski, Benjamin",
    title = "Sondage des Mod\`eles de Langue sur leur Source de Connaissance",
    booktitle = "Actes de CORIA-TALN-RJCRI-RECITAL 2025. Actes des 32\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles (TALN),  volume 2 : traductions d'articles publi\'es",
    month = "6",
    year = "2025",
    address = "Marseille, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "59-60",
    note = "",
    abstract = "Les grands mod\`eles de langue (GML) sont souvent confront\'es \`a des conflits entre leurs connaissance interne (connaissance param\'etrique, CP) et la connaissance externe fournie pendant l'inf\'erence (connaissance contextuelle, CC). Comprendre comment les GML priorisent une source de connaissance par rapport \`a l'autre reste un d\'efi. Dans cet article, nous proposons un nouveau cadre de sondage pour explorer les m\'ecanismes r\'egissant la s\'election entre CP et CC dans les GML. En utilisant des prompts contr\^ol\'ees con\c{c}ues pour contredire la CP du mod\`ele, nous d\'emontrons que des activations sp\'ecifiques du mod\`ele sont indicatives de la source de connaissance employ\'ee. Nous \'evaluons ce cadre sur divers GML de diff\'erentes tailles et d\'emontrons que les activations des couches interm\'ediaires, en particulier celles li\'ees aux relations dans l'entr\'ee, sont cruciales pour pr\'edire la s\'election de la source de connaissances, ouvrant la voie \`a des mod\`eles plus fiables capables de g\'erer efficacement les conflits de connaissances.",
    keywords = "Interpr\'etabilit\'e, Transformers, Connaissance des mod\`eles de langue",
    url = "https://talnarchives.atala.org/TALN/TALN-2025/90.pdf"
}