Was ist Azure Remote Rendering und warum wird es gebraucht?

Mit Azure Remote Rendering hochkomplexe 3D-Daten mit der HoloLens 2 verwenden. Lernen Sie die Vorteile der neuen AR Service für Ihr Unternehmen.

Mittels Augmented Reality und Azure Remote Rendering können 3D-Modelle an nahezu jedem beliebigen Standort evaluiert werden. | Bild: Augment IT

Azure Remote Rendering ist ein Mixed-Reality-Service in Microsofts Azure-Cloud. Dabei werden hochwertige und interaktive 3D-Objekte in Echtzeit und höchstem Detailgrad auf die HoloLens 2 gestreamt. Mobile AR- und VR-Brillen haben nur begrenzte Rechenleistung: Komplexe 3D-Modelle bringen sie schnell an ihre Grenzen. Eine Vielzahl von Eckpunkten, Kanten und Flächen bilden dabei ein Polygon-Netz, das Form und Oberfläche eines Objekts bestimmt.

Je dichter der Informationsgehalt eines Netzes, desto mehr Rechenleistung ist nötig, um das 3D-Objekt zu rendern. Deshalb nutzen Designer eine Technik namens „Mesh Simplification„, mit der sie komplexe Inhalte für mobile Geräte optimieren. Sie reduzieren die Anzahl der Polygone soweit, dass ein mobiles Gerät das 3D-Objekt gut darstellen kann. Der Aufwand für diese Prozedur ist enorm und kann mehrere Personentage betragen.

Ausserdem gehen viele wichtige Details durch die Vereinfachung verloren. Für Anwendungsbereiche, in denen wichtige und oft teure Geschäfts- und Designentscheidungen getroffen werden, ist eine kompromisslose visuelle Darstellung der Details eines 3D-Objekts allerdings von zentraler Bedeutung.  An dieser Stelle kommt Azure Remote Rendering ins Spiel: Microsofts Streamingdienst überträgt interaktive 3D-Objekte mit mehreren hundert Millionen Polygonen auf eine AR-Brille wie HoloLens 2 – in Echtzeit und ohne spürbare Latenz.  

Welche Vorteile hat Azure Remote Rendering gegenüber herkömmlicher Objekt-Darstellung in Augmented Reality?

Azure Remote Rendering entfernt alle technischen Barrieren: Die gesamte Rechenleistung kommt aus der Microsoft Cloud. Komplexe Architektur- oder Design-Modelle können so mit vollem Detailgrad auf einer AR-Brille dargestellt werden. Alles, was Sie für Azure Remote Rendering brauchen, ist:

  • Ihre HoloLens 2,
  • ein Netzwerk mit WLAN-Bandbreite von mindestens 2,4 GHz und
  • eine stabile Internetverbindung mit 50 Mbps Download und 10 Mbps Upload.

Sie können mit dem ferngerenderten 3D-Objekt nach Belieben interagieren: Es lässt sich im Raum vergrössern und verkleinern, Teile können eingefärbt oder einzeln an- und abgeschaltet werden. Perspektivwechsel durch simples Herumgehen um das Objekt ermöglichen zudem einen deutlich besseren Blick auf die Details. Mit „Cut Planes“ erzeugen Sie Schnittebenen in einem Objekt, die Sie in das Polygon-Netz sehen lassen. Dadurch können Sie nicht nur das Gesamtmodell inspizieren, sondern auch das Innenleben des 3D-Objekts überprüfen. Über Debug-Rendering-API lässt sich das serverseitige Rendering zudem passend zu Ihrer Anwendung verbessern. 

Welche Features bietet Azure Remote Rendering?

3D-Modelle mit vollen Details und interaktiv nutzen: Mit Azure Remote Rendering und HoloLens 2 kein Problem. | Bild: Microsoft 

Die Kollaboration mit Kollegen oder Kunden an einem mittels Augmented Reality dargestellten 3D-Objekt – etwa bei der Produktentwicklung – sorgt für ein besseres Verständnis der Beteiligten. Fragen oder Designvorschläge können durch natürliches Zeigen und Ansehen im Raum erörtert werden. Dabei gilt: Je besser und detaillierter die Darstellung, desto weniger Missverständnisse entstehen. Das spart erneut Zeit und Geld.

Die Vorteile ziehen sich durch den gesamten Lebenszyklus eines Produkts oder Objekts. Schon in der Produktentwicklung, etwa beim Design einer neuen Maschine, können alle Versionen ohne Aufbereitung jederzeit kollaborativ evaluiert werden: Einfach das 3D-Objekt in die HoloLens 2 laden und schon sind sämtliche Details anhand des AR-Modells zur interaktiven Überprüfung bereit.

Die Präsentation beim Kunden beeindruckt zunächst durch die Zukunftstechnologie Augmented Reality selbst: Die tonnenschwere Maschine ist im Meetingraum digital präsent und skalierbar. Das sorgt für besseres Verständnis beim Kunden als eine Abfolge von typischen PowerPoint-Slides. Ausserdem können sich die Beteiligten das Objekt deutlich besser am finalen Einsatzort vorstellen – oder Sie präsentieren es gleich in der Fabrikhalle am geplanten Standort.      

Wie funktioniert Azure Remote Rendering? 

Azure Remote Rendering lagert den lokalen Rechenprozess auf die Highend-Prozessoren der Microsoft Azure Cloud aus. Dort rendern leistungsstarke Azure GPU Virtual Machines das 3D-Objekt, kodieren es und schicken es auf die HoloLens 2. Zudem bietet Azure Remote Rendering hybrides Rendering an. Viele Anwendungen brauchen spezielle Nutzeroberflächen.

Beim Azure Remote Rendering können daher Benutzeroberfläche und 3D-Rendering getrennt werden. Das 3D-Objekt kommt aus der Cloud, die Benutzeroberfläche wird lokal individuell auf den Benutzer angepasst. Die Azure-Software fügt beide Bausteine perspektivisch korrekt und automatisch zusammen.

In der industriellen Visualisierung gibt es Objekte mit immens hohem Detailgrad, die auch für eine einzelne Highend-GPU zu komplex werden. Azure Remote Rendering löst dieses Problem mit Multi-GPU Rendering in der Cloud. Das Rendering des Objekts wird auf mehrere GPUs aufgeteilt und nach dem Rendern wieder korrekt zusammengeführt. 

Das Azure Remote Rendering hat noch einen weiteren grundlegenden Vorteil: Sie können Ihre 3D-Objekte ohne nervige Wartezeit laden, genau dann, wenn sie benötigt werden. Ein Konvertierungsdienst optimiert die Daten im Vorfeld und speichert sie in einem Azure Storage-Konto. Unterstützte Quellformate sind FBX (ab Version 2011), GLTF (Version 2.x) und GLB (Version 2.x). Die Konvertierung kann automatisiert werden. 

Use Cases für Azure Remote Rendering

Azure Remote Rendering in der Industrie: CAD/PLM Integration mit Augment IT

Eine übliche Vorgehensweise zur Digitalisierung von Objekten ist CAD (Computer-aided-design). Software wie Inventor von Autodesk bietet die passenden Werkzeuge für die Konstruktion von 3D-Objekten. Dazu gehören beispielsweise parametrische Modellierung für besonders intuitive Konstruktion nach Schwerpunkten oder komplette Baugruppenmodellierung.

Solche CAD-Modelle werden dann in einer sogenannten PLM-Software verwaltet. Vereinfacht gesagt, handelt es sich dabei um Produkt- und Datenmanagement, unter anderem für Produktentwicklung und vernetztes Arbeiten. Alle Informationen, die während einer Produktentwicklung anfallen, sind in ein solches System integriert. PTC bietet beispielsweise die bekannte PLM-Lösung Windchill an. 

CAD-Objekte oder 3D-Scans (siehe auch Photogrammetrie) werden oft für einen unkomplizierten Zugang in PLM-Systemen abgelegt. Augment IT setzt hier an und vereinfacht den Vorgang: Über einen schnellen und möglichst automatisierten Import in Azure Remote Rendering lassen sich die benötigten Daten sofort in der Praxis einsetzen. 

Das wird durch ein spezielles Software Development Kit (SDK) möglich. Der Workflow sieht damit wie folgt aus: 

  • CAD-Daten im PLM-System hinterlegen
  • Upload der CAD-Daten zu Azure Remote Rendering durch direkten Zugriff ins PLM-System
  • Nahtlose Darstellung ohne Qualitätseinbussen direkt auf dem Gerät bzw. am gewünschten Einsatzort

Der zeitliche, qualitative und finanzielle Vorteil ist immens, denn die Augment-IT-SDK reduziert in Verbindung mit Azure Remote Rendering mehrere aufwendige Arbeitsschritte auf einen einzigen, simplen Vorgang: Die manuelle Aufbereitung der 3D-Daten entfällt, stattdessen werden die CAD-Dateien automatisch von der PLM-Objektbibliothek in die Azure-Cloud hochgeladen und können sofort und ohne Detailverlust in jedem Szenario direkt vor Ort genutzt werden. 

Im Frontend der Augment-IT-Software rufen Anwender über ein intuitives Benutzerinterface eine Katalogfunktion auf, die die gesamte Objektbibliothek und Historie beinhaltet. Beispielsweise kann ein Maschinenbauer ein bestimmtes Objektset in einem Fenster der App öffnen und simpel per Drag & Drop auf seine HoloLens 2 laden. Ausserhalb industrieller Anwendungen gibt es aber noch weitere gute Use Cases, die von einer schnellen Schnittstelle und Azure Remote Rendering profitieren können. 

Azure Remote Rendering im Gesundheitssektor

Für Augmented Reality in der Medizin gibt es vielfältige Einsatzmöglichkeiten. Beispielsweise visualisiert Olympus, Hersteller von medizinischen Geräten, die eigene Produktpalette direkt im Operationssaal über AR. 

Dank der Detailtreue des Azure Remote Rendering geht der Einsatz von AR in der Medizin noch viel weiter: Beispielsweise könnten (nachbearbeitete) MRT- oder CT-Aufnahmen perspektivisch korrekt auf den Patienten projiziert werden. Der hohe Detailgrad bietet dem Chirurgen exakte Orientierung bei der Planung einzelner Operationsschritten, Distanzen werden räumlich exakt dargestellt und umliegende Risikofaktoren hervorgehoben. 

Neben der effektiven Kostenersparnis und der Entlastung des beteiligten Personals ist ein Vorteil in diesem Bereich besonders zu nennen: Bei Operationen ist die Minimierung von Risiken ein sehr wichtiger Bestandteil, eine genaue Vorbereitung ist unerlässlich. Mit Augmented Reality und Azure Remote Rendering wird das Fehlerrisiko besonders stark gesenkt, denn die Vorbereitung kann am hochdetaillierten und besonders praxisnahen 3D-Modell vorgenommen werden.

Photogrammetrie via Azure Remote Rendering in der Baubranche

Eine fotorealistische Darstellung realer Objekte oder Umgebungen in VR oder AR gelingt mit Photogrammetrie: Viele einzelne Fotos eines Objekts aus unterschiedlichen Perspektiven werden zu einem einzigen 3D-Modell zusammengefügt. 

So entsteht eine genaue dreidimensionale Rekonstruktion eines Objekts – die allerdings eine hohe Polygonanzahl aufweist und daher viel Rechenleistung braucht. Mit Azure Remote Rendering können Photogrammetrie-Scans jedoch in voller Auflösung mit allen Details betrachtet werden. Schnelle fotogrammetrische 3D-Scans stellen so eine mögliche Alternative zu in der Produktion aufwendigen CAD-Modellen dar. 

Ein gutes Beispiel bietet der Einsatz im Baugewerbe: Bauflächen oder Baustellen können mit speziell bestückten Drohnen überflogen und gescannt werden. Neben der Zeitersparnis dieser Scan-Methode durch die Unabhängigkeit von Bodenbeschaffenheiten oder Baumaschinen, lassen sich die Bilddaten in 3D-Objekte umrechnen. Der bisherige Baufortschritt kann nun über die Augment-IT-SDK schnell und direkt in die Azure Cloud importiert und sofort im Planungsbüro evaluiert werden. 

Azure Remote Rendering und 5G 

Für reibungsloses Echtzeit-Rendering ist ein Netzwerk mit geringer Latenz und ausreichender Bandbreite essenziell. Wie bereits erwähnt, empfiehlt Microsoft für Azure Remote Rendering etwa 50 Mbps Download- und 10 Mbps Upload-Geschwindigkeit. Ab 2020 wird in Deutschland, Österreich und der Schweiz 5G als neuer Mobilfunk-Standard etabliert. Mit einer Geschwindigkeit, die bis zu 100 Mal schneller als LTE ist, werden auch im Mobilfunk XR-Übertragungen in Echtzeit möglich.

5G wird Features wie Enhanced Mobile Broadband (eMBB) und Ultra-Reliable and Low-Latency Communications (uRLLC) bieten. In Kombination ermöglichen diese Technologien hohe Datenraten bei fast keiner Latenz (1 ms). Die technischen Anforderungen von Virtual und Augmented Reality an das Mobilfunknetz wären somit erfüllt. Durch 5G wächst die Flexibilität: Sobald ein 5G-Netz verfügbar ist, kann Ihre Objektbibliothek ohne WiFi-Konfiguration sofort über die HoloLens 2 aufgerufen werden.

Azure Remote Rendering im eigenen Unternehmen nutzen

Zusammengefasst bietet Augmented Reality in Verbindung mit Azure Remote Rendering folgende Vorteile für Ihre Unternehmen:

  • Keine Qualitätseinbussen: Hochdetaillierte, polygonreiche 3D-Modelle in AR 
  • Keine Aufbereitungszeit: Direkte Evaluierung jeder Objektversion jederzeit an nahezu jedem Ort
  • Zeit- und Kostenersparnis: Deutlich weniger Aufwand an Personal und Technik
  • Klares Bild und geringere Fehlerquote: Besseres Verständnis des Produkts oder Objekts bei Beteiligten / Kunden / Entscheidern
  • Weniger Missverständnisse: Kollaboratives Arbeiten und verbesserte Kommunikation durch direkte Arbeit am digitalen, skalierbaren Objekt im Raum 
  • Wettbewerbsvorteil: Beeindruckende und kundennahe Präsentation mit Zukunftstechnologien

Azure Remote Rendering ist derzeit exklusiv für die HoloLens 2 und Windows-Desktop-PCs verfügbar. Wir helfen Ihnen gern dabei, diese bahnbrechende Technologie gewinnbringend einzusetzen. Haben Sie Fragen oder wünschen Sie eine Beratung zur Integration einer Azure Remote Rendering-Lösung in Ihr Unternehmen und Ihre Systeme?

Weitere Nachrichten und Informationen zur Augmented Reality-Technologie