Mobile xR: Was nicht ist, wird noch

VR, AR, MR für viele Laien sind diese Begriffe kaum auseinander zu halten. Dabei kommt unter dem Überbegriff Extended Reality oder xR eine (weitere) technologische Revolution auf uns zu. Bei mobilen Geräten sind Virtual-, Augmeted oder Mixed-Reality-Applikationen bereits in vielen Ausprägungen Realität. (Publiziert im Swiss IT Magazine Ausgabe 01-02)

Um sich in der Welt der erweiterten Wirklichkeit zurecht zu finden, lohnt es sich, die genannten Begriffe zu differenzieren, eine absolute und allgemein gültige Abgrenzung gibt es allerdings nicht. Virtual Reality (VR) bezeichnet eine Welt ausserhalb der für uns sichtbaren; sie ist vom Computer generiert. Hier findet eine klare Trennung beider Wirklichkeiten statt. Der Nutzer taucht vollkommen in diese Welt ein und schottet sich gleichzeitig von der echten ab. Je nach Anwendung hat er die Möglichkeit, sich interaktiv mit den Objekten und Geschehnissen in der VR auseinander zu setzen.

Wenn Realitäten verschmelzen

Augmented Reality (AR) ist die computergestützte Erweiterung der echten Welt mit Informationen und Bildern. Man schaut via Smartphone (seltener noch durch AR-Brillen und Headsets) auf die sichtbare Realität, während das Gerät zum Beispiel das anvisierte historische Gebäude erkennt und einen Text dazu einblendet. Dazu müssen mobile Geräte mit einer guten Kamera, Bewegungssensoren und leistungsfähiger CPU ausgerüstet sein. Mixed Reality (MR) schliesslich ist die Steigerung von AR. In ihr vermischt sich die physische Realität mit der virtuellen (VR) noch stärker.

Der Nutzer kann computergenerierte Objekte in die reelle Umgebung einbetten, sich darum herum bewegen und sie interaktiv manipulieren. VR, AR und MR werden unter dem Dach der Extended Reality (xR) zusammengefasst. Mobile xR nennt sich die Umsetzung auf Smartphones und Tablets. Diese Devices sind bereits Massenware und ermöglichen dadurch eine rasche Verbreitung von mobilen xR-Anwendungen. Für wirkungsvolle Anwendungen von Mixed Reality eignen sich Headsets beziehungsweise Brillen (etwa Microsoft Hololens, Google Glass, Magic Leap One) besser.

Wo stehen wir heute?

1982: Damien Broderick spricht in seinem Science-Fiction-Roman The Judas Mandala erstmals von «Virtual Reality». Und 35 Jahre später? In einer Ausgabe der «Schweiz am Wochenende» vom Dezember 2017 nannte der Silicon-Valley-Korrespondent Virtual Reality eine «verpasste Revolution». Offensichtlich ist dort die anfängliche Euphorie verflogen. Aber nicht, weil die Technologie grundsätzlich floppte, sondern weil alles viel schneller geht, und die dafür notwendigen VR-Brillen immer noch relativ schwerfällig sind. Gerade die darauf aufbauende Augmented und Mixed Reality hat die rein virtuelle Realität bereits hinter sich gelassen. Trotzdem wird die Branche immer wieder belächelt. Das sei eher ein «Herumspielen» als seriöse Forschung und Entwicklung, heisst es.

Bereits praktikable Anwendungen

Alle Bereiche der Extended Reality basieren, vereinfacht gesagt, auf Technologien, die so neu nicht sind: 3D-Daten und Game-Engines. Virtual Reality ist denn auch vorwiegend in Computerspielen zuhause. Hier findet eine digitale Interaktion zwischen Mensch und Computer statt. Bei der Augmented Reality und Mixed Reality kommt neben dem Menschen und Computer die Umgebung, also die reale Welt, als dritte Dimension hinzu. Bei AR bewegt man sich im weitesten Sinne immer noch im zweidimensionalen Bereich, weil die dafür verwendeten mobilen Geräte einen herkömmlichen 2D-Bildschirm haben.

ARKit und ARCore

Wer kennt nicht die Peakfinder-App von 2010, eine individuelle, sehr aufwändige Pionierleistung aus der «Steinzeit» von AR. Heutige mobile Geräte sind bereits mit viel weiter entwickelten Basis-Frameworks wie ARKit oder ARCore von Apple beziehungsweise Google ausgerüstet. Sie bilden die Basis und verkürzen den Weg zu ganz neuen Mobile Apps, da man damit viel schneller und kostengünstiger Applikationen entwickeln kann Ein Beispiel ist der Möbelkatalog Ikea Place fürs iPhone und iPad.

Während die Kamera das echte Wohnzimmer wiedergibt, kann man den virtuellen Sessel aus dem Katalog ins Bild ziehen und so beurteilen, ob er farblich und grössenmässig an den vorgesehenen Ort passen würde. Auch ARKit hat noch Mängel, die Erkennung der Oberflächen im Raum funktioniert zum Beispiel nicht immer. Die Raumerkennung und Positionierung muss noch spürbar präziser werden. Trotzdem hat Apple die Nase in der mobilen xR-Welt vorne; Android hat zwar gute technische AR Frameworks, diese sind aber nicht so breit verfügbar wie auf iOS und Google wird sich mächtig ins Zeug legen müssen, um diesen Rückstand aufzuholen.

Grosser Nutzen für Bildung, Industrie und Marketing

Folgende Forschungs- und Pilotprojekte sind vereinfacht beschrieben und stehen stellvertretend für tausende Prototypen weltweit. Der Medizinstudent wird künftig die menschliche Anatomie anhand eines virtuellen Patienten ergründen, der vor ihm auf dem Tisch liegt. Organe und Körperteile sind auf dem Bildschirm bezeichnet. Damit nimmt die kognitive Last ab, die 3D-Darstellung zu verstehen.

Das Gehirn kann sich auf die Funktionen fokussieren, anstatt auf die Interpretation von 2D-Bildern. Dadurch lernt man schneller und in besserer Qualität. Überhaupt eröffnet die Technologie ganz neue Möglichkeiten in der Ausbildung. Lernende müssen nicht alle am gleichen Ort sein. Sie sehen zum Beispiel einen virtuellen Gegenstand vor sich auf dem Tisch, den sie zu den Ausführungen des Ausbildners drehen und öffnen können. Bei der Wartung von Eisenbahnwagen geht der Techniker beispielsweise um den Wagen herum, während die AR-Applikation ihm die zu inspizierenden Stellen im Ist und Soll-Zustand anzeigt, die History speichert und sogar die Rechnung generiert, alles papierlos.

Oder er kann für eine Reparatur einen spezialisierten Kollegen aus der Zentrale live zuschalten, der ihm die nächsten Schritte auf seinem Tablet anzeigt. Das erhöht die Wartungsqualität und die Wirtschaftlichkeit seines Einsatzes. Schliesslich kann der Käufer einer Wohnung sich vom Innenarchitekten zeigen lassen, wie seine Küche aussehen könnte, während die beiden im Rohbau stehen und das Tablet auf die dafür vorgesehene Stelle richten. Und im Rahmen eines Pilotprojekts der SBB können sich Interessierte bereits heute von ihrem Smartphone durch den Hauptbahnhof Zürich führen lassen. Die Aufzählung vieler weiterer Möglichkeiten für Tourismus, Marketing, Medien und Unterhaltung würde hier den Rahmen sprengen.

Visualisierung eines alten Schiffes mit der HoloLens
3-D Visualisierung eines Hirntumors mit der HoloLens

Headsets und Brillen: Nicht ob, sondern wann

Obwohl xR-Brillen unbestritten noch Verbesserungspotential haben, lautet die Frage nicht, ob sie kommen, sondern wann. Sie eignen sich besonders für MR-Anwendungen, während die Augmented Reality wie erwähnt am ehesten auf dem Handy und Tablet zuhause ist. Für Lösungsanbieter wird es entscheidend sein, wie sie mit dem Thema xR generell umgehen. Aus einer Software und Inhaltsperspektive werden diejenigen Unternehmen langfristig am erfolgreichsten sein, die Extended Reality in ihrer vollen Bandbreite, als Kontinuum verstehen, sie vielleicht sogar zu ihrer Kernidentität machen.

Dies im Gegensatz zu solchen, die auf einen statischen Punkt in diesem Kontinuum fokussieren. Vor allem in der Geschäftswelt besteht enormes Potential für xR, wie die oben genannten Anwendungsbeispiele zeigen. Trotz konkreter Applikationen, die heute im Markt im Einsatz sind, müssen Hard und Software beispielsweise Brillenkomfort, Sichtfeld, Stimmerkennung, AugenTracking, Gestensteuerung und die Performance weiterentwickelt werden. Abwarten ist jedoch der falsche Ansatz. Man kann bereits heute mit xR-Brillen abklären, wie die Zukunft funktioniert, sich darauf vorbereiten und wichtige Erkenntnisse gewinnen.

Wo führt das eigentlich hin?

Wie jede technologische Revolution birgt Extended Reality Chancen und Risiken. Eines ist sicher: Die Grenzen zwischen der uns bekannten physischen und der virtuellen Realität werden eines Tages verschwinden. Es wird kein «entweder oder» mehr geben, wir werden nahtlos von der realen Welt in die computergenerierte wechseln. Auch Kinder werden eines Tages in der Mixed Reality spielen, entdecken und staunen. Im Game Technology Center der ETH Zürich forscht ein Team um Bob Sumner an der Augmented Creativity.

Figuren in Malheften werden lebendig, der Besuch im Kunstmuseum wird für die Kleinen von der Qual zum kreativen Spiel. Wie werden wir mit all dem umgehen können? Werden wir die richtige Umwelt noch von der künstlichen unterscheiden können? Welchen Einfluss wird das auf unsere Erinnerung haben: Was war nun echt und was nicht? Das Handy könnte in nicht allzu ferner Zukunft obsolet werden.

Wir werden Dienste entwickeln und über Mobile xR nutzen, die wir uns heute gar nicht vorstellen können. Bei so viel Ungewissheit und so viel Neuem wird die Beratung durch Spezialisten immer wichtiger. Denn wie so oft wird sich die Fragen stellen: Vieles ist möglich, aber macht es auch Sinn?

Weitere Nachrichten und Informationen zur Augmented Reality-Technologie