MATATA: raisonnement Mathématique Augmenté au Travers d'outils pour des Applications TAbulaires sous supervision faible de bout en bout
Vishnou Vinayagame, Gregory Senay, Luis Martí
Résumé : Les documents professionnels contiennent souvent des informations textuelles et tabulaires nécessitant du raisonnement mathématique pour une compréhension fine. Bien que les modèles de langage légers (SLMs) peinent sur ces tâches de raisonnement, les agents augmentés par outils obtiennent de meilleurs résultats grâce aux modèles propriétaires, à des données externes ou à l’ingénierie des prompts. Cet article présente MATATA, une approche d’entraînement faiblement supervisée pour développer des agents de raisonnement multi-étapes pour les documents tabulaires. MATATA améliore des SLMs de 3.8B/8B sous supervision faible, évitant que chaque étape du raisonnement soit supervisée individuellement avec des annotations externes. Doté d’un planificateur et d’outils, MATATA atteint l’état de l’art sur FinQA, est parmi les meilleures méthodes utilisant des SLMs open-source sur TAT-QA et rivalise avec celles basées sur GPT-4 sur TabMWP. Cette approche d'entraînement de bout en bout sans supervision intermédiaire soutient le développement de systèmes agentiques puissants et peu coûteux.
Mots clés : Compréhension automatique du langage naturel, Raisonnement Mathématique Tabulaire, Modèles de Langage Légers, Supervision Faible