Sur la Cohérence Factuelle des Modèles de Recommendation Explicables fondés sur le Texte
Ben Kabongo, Vincent Guigue
Résumé : Les systèmes de recommandation explicables fondés sur le texte génèrent des justifications en langage naturel pour les recommandations d’articles afin d’améliorer la confiance des utilisateurs et la transparence. Cependant, une question cruciale reste peu étudiée : ces explications sont-elles factuellement cohérentes avec les preuves disponibles ? Nous introduisons un cadre d’évaluation complet pour combler cette lacune. Nous proposons un pipeline basé sur le prompting qui exploite des LLM pour extraire, à partir des avis utilisateurs, des énoncés explicatifs atomiques et construire un ensemble de vérité factuellement fondé. En l’appliquant à cinq catégories d’Amazon Reviews, nous créons des benchmarks enrichis permettant une évaluation fine de la qualité des explications. Nous proposons aussi des métriques d’alignement au niveau des énoncés, combinant approches fondées sur les LLM et le NLI. Malgré des scores élevés de similarité sémantique (BERTScore F1 : 0,81–0,90), la factualité reste faible (précision LLM : 4,38 \%–32,88 \%).
Mots clés : Explainable Recommendation, Recommender Systems, Factual Consistency, Benchmarking and Evaluation Metrics, Large Language Models (LLMs), Natural Language Inference (NLI)