@inproceedings{Jara-Mikolajczak-Lavergne-Servan-Rosset:CORIA-TALN-2026:2026,
    author = "Jara-Mikolajczak, Aygalic and Lavergne, Thomas and Servan, Christophe and Rosset, Sophie",
    title = "Robustesse des LLM dans les contextes longs, hallucinations et d\'etection sur questions-r\'eponses s\'equentielles",
    booktitle = "Actes de CORIA-TALN 2026. Actes des 33\`eme Conf\'erence sur le Traitement Automatique des Langues Naturelles.  Volume 1 : articles scientifiques originaux",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "512-523",
    note = "",
    abstract = "Dans ce travail, nous \'evaluons l'impact de l'allongement du contexte sur le taux d'hallucination et les performances de d\'etection d'hallucinations \`a travers sept mod\`eles \`a poids ouverts sur le jeu de donn\'ees TriviaQA. Nous utilisons des sondes lin\'eaires, une approche efficace pour d\'etecter les hallucinations dans les LLM, mais leur robustesse dans les contextes conversationnels longs reste peu \'etudi\'ee. Nos r\'esultats montrent que les taux d'hallucination restent stables jusqu'\`a 400 tours et 75 000 tokens, et que des sondes entra{\^\i}n\'ees sur un tour unique g\'en\'eralisent bien aux contextes multi-tours. En revanche, l'injection de r\'eponses oracles dans le contexte d\'egrade syst\'ematiquement les performances, sugg\'erant que des r\'eponses hors distribution perturbent les repr\'esentations internes du mod\`ele.",
    keywords = "grands mod\`eles de langage, hallucination, d\'etection d'hallucinations, contexte long, questions-r\'eponses s\'equentielles, sondes lin\'eaires",
    url = "108.pdf"
}