Revisite du légendage de différences d'images avec BLIP2IDC
Gautier Evennou, Antoine Chaffin, Vivien Chappelier, Ewa Kijak
Résumé : L'amélioration des modèles génératifs permet la génération d'images altérées à grande échelle. Pour contrer les mésusages de cette technologie, la tâche d'Image Difference Captioning (IDC) vise à décrire les différences entre deux images. Bien que cette tâche image2text soit traitée avec succès pour des images 3D simples, elle rencontre des difficultés avec des images du monde réel. Cela est dû à la rareté des données d'entraînement et à la difficulté de capturer des différences fines entre des images complexes. Pour répondre à ces défis, nous proposons dans cet article un cadre simple mais efficace pour adapter les modèles existants de légendage d'images à la tâche IDC et pour enrichir les jeux de données IDC. Nous introduisons BLIP2IDC, une adaptation de BLIP2 à la tâche IDC à faible coût computationnel, et montrons qu'il surpasse les approches existantes de manière significative sur les jeux de données IDC d'images réelles. Nous proposons également d'utiliser l'augmentation synthétique pour améliorer les performances des modèles IDC de manière agnostique. Nous démontrons que cette stratégie fournit des données de haute qualité, conduisant à un nouveau jeu de données exigeant et bien adapté à l'IDC, nommé Syned.
Mots clés : Légendage de différences d'image, Perturbations sémantiques, Augmentation de données, jeu de données IDC