GeoBenchmark : Analyse des grands modèles de langage pour les connaissances géospatiales
Abayomi-Alli Ayomide, Jose G Moreno, Karim Radouane, Lynda Tamine
Résumé : Les grands modèles de langage (LLM) font preuve d'une forte capacité à restituer des connaissances générales, mais ont du mal à traiter les connaissances géospatiales concrètes. Afin de mesurer et d'aider à tester les connaissances spatiales des LLM, nous présentons \textbf{GeoBenchmark}, un benchmark permettant d'évaluer le bon sens géographique selon trois relations spatiales fondamentales : la \textbf{direction}, la \textbf{distance} et la \textbf{topologie}. À partir des données extraites de YAGO2geo et des géométries des quartiers de l'\textit{Ordnance Survey}, les relations spatiales ont été formalisées sous forme de triplets structurés et systématiquement transformées en paires de questions-réponses équilibrées de type binaire (Oui/Non) et à choix multiples (QCM). En outre, nous prenons en compte les questions atomiques et composites en fonction du nombre de relations spatiales impliquées. L'ensemble de données résultant comprend 26 000 échantillons binaires et 13 000 échantillons MCQ, répartis uniformément entre les niveaux de relations atomiques, binaires et ternaires. Nous établissons des références avec \textbf{LLaMA-8B} et \textbf{Mistral-7B} sous prompting zero-shot, obtenant une précision de 52 à 63 \% sur les questions atomiques, mais inférieure à 35 \% sur les relations ternaires, ce qui révèle la compréhension spatiale compositionnelle limitée des modèles et leur fort biais d'option. \textbf{GeoBenchmark} fournit une ressource complète et reproductible pour tester et faire progresser le sens commun géographique des LLM, ouvrant la voie à de futures recherches sur l'exploration spatiale et géographique des LLM ainsi que sur l'édition des connaissances. Ceci est le résumé de l’article “GeoBenchmark: Probing Large Language Models for Geo-Spatial Knowledge” publié dans la conférence LREC2026
Mots clés : LLM, geospatial reasoning, spatial commonsense, GeoSPARQL