Das Forschungsteam von Google DeepMind hat mit dem Vision-Banana-Modell gezeigt, dass Vorstufen der Bildgenerierung eine solide Grundlage f\u00fcr das allgemeine Verst\u00e4ndnis der visuellen Welt bilden, \u00e4hnlich wie gro\u00dfe Sprachmodelle (LLMs) das Sprachverst\u00e4ndnis durch die Vorhersage des n\u00e4chsten Wortes entwickeln. Das System basiert auf Nano Banana Pro, Googles fortschrittlichstem Bildgenerator, der durch ressourcenschonendes, instruktionsbasiertes Lernen zu Vision Banana weiterentwickelt wurde. Die zentrale Innovation besteht darin, dass verschiedene Aufgaben der Computer Vision, wie Segmentierung, Tiefenbestimmung und Sch\u00e4tzung von Oberfl\u00e4chennormalen, in RGB-Bildgenerierungsaufgaben umgewandelt wurden.
Vision Banana erzielte in sogenannten \u201eZero-Shot\u201c-Umgebungen, in denen das Modell keine Vorerfahrung mit spezifischen Datens\u00e4tzen hat, \u00fcberragende Ergebnisse. Es \u00fcbertraf das SAM-3-Modell bei der Bildsegmentierung und erreichte einen Tiefenmetrik-Wert von 0,929 (\u03b41-Parameter), womit es den bisherigen Rekordhalter Depth Anything V3 (0,918) \u00fcbertraf. Besonders beeindruckend ist, dass das Modell keinerlei Informationen \u00fcber Kameraparameter zur Tiefenbestimmung ben\u00f6tigt, was bisher ein gro\u00dfes Hindernis f\u00fcr solche Systeme darstellte.
Dieser Ansatz bietet drei entscheidende Vorteile: Ein einziges Modell, in dem ein einzelnes neuronales Netzwerk eine Vielzahl von Aufgaben bew\u00e4ltigen kann, wobei sich lediglich die Texteingabe \u00e4ndert. F\u00fcr die Anpassung des Modells war nur eine geringe Menge spezifischer visueller Daten erforderlich. Trotz der neuen Analysem\u00f6glichkeiten beh\u00e4lt Vision Banana weiterhin seine urspr\u00fcngliche Funktion, hervorragende fotorealistische Bilder zu erzeugen.
Die Forscher gehen davon aus, dass wir einen Paradigmenwechsel erleben, bei dem generatives Vorlernen zum Standard f\u00fcr die Erstellung allgemeiner visueller Modelle der Zukunft wird. Vision Banana ist nicht nur ein neues Werkzeug, sondern auch ein Beweis daf\u00fcr, dass die F\u00e4higkeit zur Erstellung visueller Inhalte implizit ein tiefes Verst\u00e4ndnis von Geometrie, Semantik und r\u00e4umlichen Beziehungen in der realen Welt voraussetzt.<\/p>\n