Quelles combinaisons de scores et de critères numériques pour un système de Questions/Réponses ?
Laurent Gillard, Patrice Bellot, Marc El-Bèze
Résumé : Dans cet article, nous présentons une discussion sur la combinaison de différents scores et critères numériques pour la sélection finale d’une réponse dans la partie en charge des questions factuelles du système de Questions/Réponses développé au LIA. Ces scores et critères numériques sont dérivés de ceux obtenus en sortie de deux composants cruciaux pour notre système : celui de sélection des passages susceptibles de contenir une réponse et celui d’extraction et de sélection d’une réponse. Ils sont étudiés au regard de leur expressivité. Des comparaisons sont faites avec des approches de sélection de passages mettant en oeuvre des scores conventionnels en recherche d’information. Parallèlement, l’influence de la taille des contextes (en nombre de phrases) est évaluée. Cela permet de mettre en évidence que le choix de passages constitués de trois phrases autour d’une réponse candidate, avec une sélection des réponses basée sur une combinaison entre un score de passage de type Lucene ou Cosine et d’un score de compacité apparaît comme un compromis intéressant.
Abstract : This article discusses combinations of scores for selecting the best answer in a factual question answering system. Two major components of our QA system: (i) relevant passage selection, and (ii) answer extraction, produce a variety of scores. Here we study the expressivity of these scores, comparing our passage density score (i) to more conventional ranking techniques in information retrieval. In addition, we study varying the length (in number of sentences) of context retained in the relevant passages. We find that a three sentences window, and a mixing of Lucene or Cosine ranking with our compactness score (ii) provides the best results.
Mots clés : Système de Questions/Réponses, compacité, densité, combinaison de scores
Keywords : Question Answering, compactness, density, combination of scores