Évaluer la récupération dans les systèmes RAG pour la question-réponse financière sur longs documents
Amine Kobeissi, Philippe Langlais
Résumé : La génération augmentée par récupération (RAG) est de plus en plus utilisée pour le question-réponse financier sur de longs documents financiers, mais sa fiabilité dépend de la capacité à récupérer précisément le contexte justifiant la réponse. Nous étudions un mode d’échec fréquent où le bon document est trouvé, mais la page ou le segment contenant l’information est manqué, poussant le générateur à extrapoler à partir d’un contexte incomplet. Nous évaluons la récupération à plusieurs granularités (document, page, segment) et proposons une analyse par oracles fournissant des bornes supérieures empiriques sur la récupération et la génération. Sur 150 questions de FinanceBench, nous comparons des stratégies denses, clairsemées, hybrides et hiérarchiques, avec reformulation de requêtes et reranking. Enfin, nous introduisons un scoreur de pages adapté au domaine, entraîné pour la pertinence au niveau page, qui améliore le rappel des pages et la qualité des segments récupérés.
Mots clés : Génération augmentée par la recherche, Traitement automatique des langues, Recherche d’information, Question-réponse financière, Grands modèles de langage