L'\u00e9quipe de recherche Google DeepMind a d\u00e9montr\u00e9, gr\u00e2ce au mod\u00e8le Vision Banana, que les pr\u00e9curseurs de la g\u00e9n\u00e9ration d'images constituent une base solide pour la compr\u00e9hension g\u00e9n\u00e9rale du monde visuel, \u00e0 l'instar des grands mod\u00e8les de langage (LLM) qui d\u00e9veloppent la compr\u00e9hension du langage par la pr\u00e9diction du mot suivant. Ce syst\u00e8me repose sur Nano Banana Pro, le g\u00e9n\u00e9rateur d'images le plus avanc\u00e9 de Google, transform\u00e9 en Vision Banana gr\u00e2ce \u00e0 un apprentissage l\u00e9ger bas\u00e9 sur des instructions. L'innovation majeure r\u00e9side dans la transformation de diverses t\u00e2ches de vision par ordinateur, telles que la segmentation, la d\u00e9termination de la profondeur et l'estimation des normales de surface, en t\u00e2ches de g\u00e9n\u00e9ration d'images RGB.
Vision Banana a obtenu des r\u00e9sultats exceptionnels dans des environnements \u00ab z\u00e9ro-shot \u00bb, o\u00f9 le mod\u00e8le ne dispose d'aucune exp\u00e9rience pr\u00e9alable avec des jeux de donn\u00e9es sp\u00e9cifiques. Il a surpass\u00e9 le mod\u00e8le SAM 3 en segmentation d'images, tout en atteignant un score de profondeur de 0,929 (param\u00e8tre \u03b41), battant ainsi le pr\u00e9c\u00e9dent record d\u00e9tenu par Depth Anything V3 (0,918). Plus impressionnant encore, le mod\u00e8le ne n\u00e9cessite aucune information sur les param\u00e8tres de la cam\u00e9ra pour d\u00e9terminer la profondeur, ce qui constituait jusqu'\u00e0 pr\u00e9sent un obstacle majeur pour ce type de syst\u00e8mes.
Cette approche pr\u00e9sente trois avantages cl\u00e9s\u00a0: un mod\u00e8le unique o\u00f9 un seul r\u00e9seau neuronal peut r\u00e9aliser un large \u00e9ventail de t\u00e2ches, seul le texte d\u2019invite changeant\u00a0; une quantit\u00e9 r\u00e9duite de donn\u00e9es visuelles sp\u00e9cifiques a \u00e9t\u00e9 n\u00e9cessaire pour adapter le mod\u00e8le\u00a0; et enfin, malgr\u00e9 ses nouvelles capacit\u00e9s d\u2019analyse, Vision Banana conserve pleinement sa fonction premi\u00e8re de g\u00e9n\u00e9ration d\u2019images photor\u00e9alistes exceptionnelles.
Les chercheurs estiment que nous assistons \u00e0 un changement de paradigme\u00a0: l\u2019apprentissage g\u00e9n\u00e9ratif pr\u00e9alable deviendra la norme pour la construction de mod\u00e8les visuels g\u00e9n\u00e9raux du futur. Vision Banana n\u2019est pas qu\u2019un simple outil\u00a0; il d\u00e9montre que la capacit\u00e9 \u00e0 cr\u00e9er du contenu visuel requiert implicitement une compr\u00e9hension approfondie de la g\u00e9om\u00e9trie, de la s\u00e9mantique et des relations spatiales du monde r\u00e9el.<\/p>\n