Visual Intelligence: Das ist neu in iOS 26

Visual Intelligence, eine Unterfunktion von Apple Intelligence, mit der ihr mehr über eure Umgebung erfahren könnt, hat in iOS 26 einige neue Funktionen beschert bekommen, die die visuelle KI konkurrenzfähiger zu vergleichbaren KIs anderer Smartphone-Hersteller machen sollen. Hier sind alle Neuerungen auf einen Blick.

Unter iOS 18 funktionierte Visual Intelligence nur mit bzw. in der Kamera-App. Mit dem Update auf iOS 26 ist Visual Intelligence mit einer „Onscreen-Awareness“ ausgestattet, die die KI in die Lage versetzt, Screenshot-Aufnahmen eures iPhones auszulesen.

Nehmt dazu einfach einen Screenshot auf und wählt dann im Screenshot-Menü Visual Intelligence aus. Nun kann Visual Intelligence den Screenshot analysieren und euch Informationen zu den darauf gezeigten Gegenständen, Orten etc. liefern.

Mithilfe der „Hervorheben“-Funktion könnt ihr das Objekt auf dem Screenshot, zu dem ihr mehr erfahren wollt einfach mit einer Fingerbewegung markieren, sodass die KI dann eine Bilder-Suche nach diesem Objekt anstößt. Dabei wird standardmäßig die Google-Bildersuche verwendet. In der Keynote zu der Funktion zeigte Apple aber auch, dass diese Suche auch mit anderen Anwendungen, wie etwa Etsy erfolgen kann. Dein Support der Funktion muss aber voraussichtlich erst in die betreffenden Apps integriert werden.

Auch ohne spezielle Hervorhebung soll Visual Intelligence einzelne Objekte auf eurem Screenshot erkennen können. Das läuft dann wie in der Fotos-App, in der euch unterhalb eines Fotos eine Info-Zeichen angezeigt wird, wenn die App zum Beispiel eine Person oder eine Pflanze erkannt hat.

Zusätzlich zu Tieren und Pflanzen kann Visual Intelligence nun außerdem auch Kunstwerke, Bücher, Wahrzeichen und Sehenswürdigkeiten und Skulpturen erkennen. Wenn ein Objekt erkannt wird, erscheint ein kleines leuchtendes Icon, auf das ihr tippen könnt, um euch weitere Informationen zum erkannten Objekt anzeigen zu lasen.

Frage stellen, Suche anstoßen, Event anlegen lassen

Wenn es euch nicht darum geht, einzelne Objekte identifizieren zu lassen, könnt ihr auch mit der „Frage stellen“-Funktion arbeiten und Fragen zum Inhalt des Screenshots stellen. Diese werden dann an ChatGPT weitergeben und durch diese KI beantwortet. Mithilfe des „Suchen“-Buttons wird eine Google-Suchanfrage getriggert.

Enthält euer Screenshots Daten, Uhrzeiten und andere Event-Informationen könnt ihr über Visual Intelligence auch einen Kalendereintrag erzeugen lassen.

Visual Intelligence funktioniert auf allen iPhones, die Apple Intelligence unterstützen, derzeit also die iPhone-15-Pro- und die iPhone1-6-Pro-Reihe.