Mieux utiliser BERT pour la détection d'évènements à partir de peu d'exemples
Aboubacar Tuo, Romaric Besançon, Olivier Ferret, Julien Tourille
Résumé : Les méthodes actuelles pour la détection d’évènements, qui s’appuient essentiellement sur l’apprentissage supervisé profond, s’avèrent très coûteuses en données annotées. Parmi les approches pour l’apprentissage à partir de peu de données, nous exploitons dans cet article le méta-apprentissage et l’utilisation de l’encodeur BERT pour cette tâche. Plus particulièrement, nous explorons plusieurs stratégies pour mieux exploiter les informations présentes dans les différentes couches d’un modèle BERT pré-entraîné et montrons que ces stratégies simples permettent de dépasser les résultats de l’état de l’art pour cette tâche en anglais.
Mots clés : Extraction d’évènements, apprentissage à partir de peu d’exemples, méta- apprentissage, BERT.