Encodeurs croisés légers pour ré-ordonner les résultats de recherche d'information
Mathias Vast, Victor Morand, Basile Van Cooten, Laure Soulier, Josiane Mothe, Benjamin Piwowarski
Résumé : En supprimant les interactions superflues dans les encodeurs croisés, notre architecture divise par quatre leur temps d’inférence. Ainsi, les coûts de calcul deviennent comparables à celles de modèles à interaction tardive comme ColBERT, tout en conservant l’essentiel de la performance des encodeurs croisés en termes de résultat de recherche d'information. Notre architecture obtient en outre une meilleure généralisation sur des collections hors distribution.
Mots clés : Système d'information, Recherche d’information, Modèles d'ordonnancement neuronaux, Encodeur croisé, Efficacité, Interaction tardive, Compromis efficacité–performance