On the difficulty of producing good linguistic lies
Lucía Catalán Gris, Kim Gerdes
Abstract : Tester si les grands modèles de langage (LLM) capturent la structure linguistique (au-delà de la fluidité de surface) nécessite des affirmations linguistiques vraies et fausses. Bien que les affirmations vraies puissent être tirées de la littérature, produire des équivalents faux convaincants (« mensonges linguistiques ») n’est pas trivial. À l’aide de 235 paires d’affirmations tirées d’articles de syntaxe théo- rique, nous testons GPT-5.2 et observons une forte asymétrie : il rejette efficacement les affirmations fausses (spécificité élevée) mais confirme difficilement les affirmations vraies (faible rappel). Nous examinons trois causes possibles — les indices de surface, le type de contradiction (négation simple vs contradiction sémantique) et le format de présentation (isolé, par paires, en lots) — et montrons que (i) les indices de surface n’expliquent pas cet effet, (ii) la négation explicite n’apporte aucune amélioration, et (iii) le formatage contrastif/par paires gonfle les performances. Enfin, le modèle présente un biais de rejet persistant (48% de faux négatifs sur les affirmations vraies), ce qui suggère que cette asymétrie est davantage dictée par la prudence que par un manque de connaissances.
Keywords : négation, génération de contradictions, vérification des connaissances linguistiques, évaluation de grands modèles de langue, analyse d'articles scientifiques, évaluation zero-shot