Exploration du RAG pour la génération de réponses à des questions en contexte éducatif: étude sur les données SCIQ
Sarah Nouali, Ismail Badache, Patrice Bellot
Résumé : Les systèmes basés sur le RAG (Retrieval-Augmented Generation) sont des systèmes qui optimisent la puissance des grands modèles de langue (LLM, en anglais, Large Language Models) avec une recherche d'information (RI) à partir de sources de connaissances externes, sans avoir besoin de réentraîner le modèle. Ce type d'approche est connu pour améliorer les réponses du LLM, en particulier pour répondre à des questions spécifiques à un domaine, et réduire le phénomène d'hallucination constaté avec ces derniers. Dans cet article, nous explorons l'application d'un tel système dans un contexte pédagogique, en utilisant le jeu de données SCIQ (SCIence Questions), un ensemble de questions scientifiques à choix multiples de niveau scolaire, qui nous permet d'évaluer la capacité des modèles à fournir des réponses précises, pédagogiques et vérifiables. Nous évaluons les performances du système par rapport à un modèle génératif standard (Llama3 8b et Mistral 7b) de réponse aux questions et analysons ses forces et ses limites dans un contexte éducatif. La performance la plus élevée en termes de précision a été enregistrée avec l'approche basée sur le RAG (rag-llama), qui a permis d'atteindre une précision globalement supérieure par rapport aux autres approches testées.
Mots clés : système question-réponse, grands modèles de langue, RAG, éducation, SCIQ