Métrique et premiers résultats de l’évaluation GRACE des étiqueteurs morphosyntaxiques pour le français
Gilles Adda, Joseph Mariani, Patrick Paroubek, Martin Rajman, Josette Lecomte
Résumé : L'action GRACE est le premier exemple d’application du paradigme d'évaluation aux étiqueteurs morphosyntaxiques pour le français dans le cadre d'une campagne d'évaluation formelle, à participation ouverte et utilisant des données de grande taille. Après une rapide description de l’organisation et du déroulement de l'action ainsi que des problèmes posés par la nécessaire mise en place d’un référentiel commun pour l’évaluation, nous présenterons en détail la métrique Précision-Décision qui a été développée dans le cadre de GRACE pour la mesure quantitative des performances des systèmes d’étiquetage. Nous nous intéresserons ensuite aux résultats obtenus pour les participants à la phase de test de la campagne et indiquerons les aspects du protocole d’évaluation qui restent encore à valider sur les données recueillies. Enfin, nous conclurons en soulignant les incidences positives d’une campagne d’évaluation comme GRACE sur le domaine de l’ingénierie linguistique.