Sem-G-RAG, combiner sémantique symbolique à base de graphes et LLM pour le RAG
Zhongjie LI, Rim Abrougui, Guillaume Lechien, Elisabeth Savatier, Benoît Laurent, Patrick Paroubek
Résumé : Nous proposons une nouvelle méthodologie pour intégrer la sémantique explicite dans la phase de génération d'un système de génération augmentée par la recherche (RAG) à base de grand modèle de langue (LLM) afin d'améliorer la compréhension et la génération. Notre méthode repose sur les cadres sémantiques FrameNet et sur le format de graphe Penman pour les représenter. Nous analysons les apports de cette représentation sémantique explicite à base de graphe sur les données SQuAD (en anglais). Si l'ajout de ces informations n'améliore pas significativement les résultats dans nos expériences, notre analyse qualitative montre que cette sémantique explicite peut dans certains cas, améliorer la précision factuelle des réponses. Par ailleurs, si le remplacement du contexte textuel par le graphe FrameNet seul entraîne une dégradation importante de la qualité des réponses produites, nous n'avons pas observé de différence significative lorsque nous filtrons les graphes selon les entités présentes dans la questions, ce qui ouvre une perspective d'optimisation de notre méthodologie grace au filtrage sémantique du graphe.
Mots clés : RAG, Sémantique, Graphe, FrameNet, Penman