@inproceedings{Brabant:CORIA-TALN-2026:2026,
    author = "Brabant, Quentin",
    title = "\'Evaluation de m\'etriques de RAG dans un contexte applicatif : une exp\'erience, ses conclusions et ses limites",
    booktitle = "Actes de CORIA-TALN 2026. Actes de l'atelier sur l'\'evaluation des mod\`eles g\'en\'eratifs (LLM) et challenges (EvalLLM 2026)",
    month = "6",
    year = "2026",
    address = "Nantes, France",
    publisher = "Association pour le Traitement Automatique des Langues",
    pages = "87-98",
    note = "",
    abstract = "Cet article rapporte une exp\'erience visant \`a \'evaluer la pertinence de diff\'erentes m\'etriques de RAG. L'exp\'erience s'appuie sur un jeu de donn\'ees de type question-r\'eponse, cr\'e\'e par des annotateurices \`a partir de donn\'ees m\'etier. Les r\'eponses produites et les passages retrouv\'es par un syst\`eme de RAG sont not\'es \`a l'aide de m\'etriques d'\'evaluation du RAG issues de quatre biblioth\`eques (Ragas, DeepEval, RAGEval, Opik). Ces m\'etriques sont compar\'ees \`a des notes donn\'ees par deux \'evaluateurices, ainsi qu'\`a des m\'etriques standards telles que le rappel. Une analyse des corr\'elations est effectu\'ee. Enfin, nous mettons en \'evidence certaines limites de notre m\'ethodologie, que nous comparons \`a celles employ\'ees dans la litt\'erature, afin de sugg\'erer quelques pistes de recherche.",
    keywords = "RAG, \'evaluation, m\'etrique, llm-as-a-judge",
    url = "730584.pdf"
}