Fabrique sémiotique hybride et évaluation stratifiée des systèmes RAG sur SciFact
Christophe Denis
Résumé : Cet article propose, dans le cadre de la fabrique sémiotique hybride, une méthodologie stratifiée et traçable d'évaluation des systèmes RAG sur SciFact. Hermes-HSF articule des métriques classiques de recherche d'information avec des indicateurs opérationnels portant sur l'ancrage, les citations, les réponses de repli et la stabilité. L'analyse montre qu'une meilleure récupération documentaire ne garantit pas une meilleure réponse, ce qui justifie une évaluation des médiations internes de la chaîne RAG.
Mots clés : RAG, évaluation, récupération documentaire, reclassement, SciFact, LLM