Il team di ricerca Google DeepMind ha dimostrato con il modello Vision Banana che i precursori della generazione di immagini costituiscono una solida base per la comprensione generale del mondo visivo, in modo simile a come i modelli linguistici di grandi dimensioni (LLM) sviluppano la comprensione del linguaggio attraverso la previsione della parola successiva. Il sistema si basa su Nano Banana Pro, il generatore di immagini pi\u00f9 avanzato di Google, che \u00e8 stato trasformato in Vision Banana tramite un apprendimento basato su istruzioni semplificato. L'innovazione chiave consiste nel trasformare diverse attivit\u00e0 di visione artificiale, come la segmentazione, la determinazione della profondit\u00e0 e la stima delle normali di superficie, in attivit\u00e0 di generazione di immagini RGB.
Vision Banana ha ottenuto risultati superiori nei cosiddetti ambienti "zero-shot", in cui il modello non ha alcuna esperienza pregressa con specifici dataset. Ha superato il modello SAM 3 nella segmentazione delle immagini, raggiungendo un punteggio di 0,929 (parametro \u03b41) per la metrica di profondit\u00e0, battendo il precedente detentore del record, Depth Anything V3 (0,918). Ci\u00f2 che \u00e8 particolarmente impressionante \u00e8 che il modello non richiede alcuna informazione sui parametri della fotocamera per determinare la profondit\u00e0, il che ha rappresentato un ostacolo importante per tali sistemi fino ad ora.
Questo approccio offre tre vantaggi chiave. Un unico modello in cui una singola rete neurale pu\u00f2 svolgere un'ampia gamma di compiti, cambiando solo il testo di input. Per adattare il modello \u00e8 stata necessaria solo una piccola quantit\u00e0 di dati visivi specifici. Inoltre, nonostante le nuove capacit\u00e0 analitiche, Vision Banana conserva pienamente la sua funzione originale di generare immagini fotorealistiche di altissima qualit\u00e0.
I ricercatori ritengono che stiamo assistendo a un cambio di paradigma in cui il pre-apprendimento generativo diventer\u00e0 lo standard per la costruzione di modelli visivi generali del futuro. Vision Banana non \u00e8 solo un nuovo strumento, ma la prova che la capacit\u00e0 di creare contenuti visivi richiede implicitamente una profonda comprensione della geometria, della semantica e delle relazioni spaziali nel mondo reale.<\/p>\n