Connaissances factuelles dans les modèles de langue : robustesse et anomalies face à des variations simples du contexte temporel
Hichem Ammar Khodja, Frederic Bechet, Quentin Brabant, Alexis Nasr, Gwénolé Lecorvé
Résumé : Ce papier explore la robustesse des modèles de langue (ML) face aux variations du contexte temporel dans les connaissances factuelles. Il examine si les ML peuvent associer correctement un contexte temporel à un fait passé valide sur une période de temps délimitée, en leur demandant de différencier les contextes corrects des contextes incorrects. La capacité de distinction des ML est analysée sur deux dimensions : la distance du contexte incorrect par rapport à la période de validité et la granularité du contexte. Pour cela, un jeu de données, TimeStress, est introduit, permettant de tester 18 ML variés. Les résultats révèlent que le meilleur ML n'atteint une distinction parfaite que pour 11% des faits étudiés, avec des erreurs critiques qu'un humain ne ferait pas. Ces travaux soulignent les limites des ML actuels en matière de représentation temporelle.
Mots clés : Modèles de langue, Factualité, Temporalité, Sondage des connaissances.