Weiter geht’s mit dem Mixed-Reality-ABC. Nach Teil 1 von A bis M gibt es hier Teil 2 mit Begriffen von N wie Navigation bis Z wie Zapbox.
Navigation
Augmented Reality eignet sich sehr gut für Navigationsanzeigen. Im Gegensatz zu der Anzeige auf einer Karte ist keine Orientierung notwendig. Stattdessen zeigt der Pfeil direkt vor Ort in die Richtung wohin du gehen musst.
Die AR-Ansicht ist mittlerweile schon in vielen Navigationsapps integriert. Beispielsweise in Google Maps und Apple Maps.
Die Technologie kann natürlich noch erweitert werden. Für den Tourismus sind Zusatzinformationen zu Sehenswürdigkeiten interessant. Für den Einzelhandel wären Aktionen und Werbeanzeigen im digitalen Raum spannend. Auch location-based games wie z.B. Pokemon Go bauen auf die gleiche Technologie auf.
Optical See-Through
Optical See-Through Headsets sind für Augmented Reality Anwendungen geeignet. Das Display ist dabei transparent. Dadurch sehen die Benutzer:innen die reale Umwelt direkt durch die transparenten Brillengläser. Virtuelle Inhalte werden auf dem transparenten Display angezeigt.
Hololens und Magic Leap sind beispielsweise Optical See-Through Geräte. Manchmal wird die Technologie auch als See-Through bezeichnet.
Video See-Through ist das Gegenstück zu Optical See-Through. Eine Kamera nimmt die reale Umgebung auf und die Benutzer:innen sehen das Videobild über ein normales Display.
Virtuelle Objekte sind bei Optical See-Through Geräten nicht komplett blickdicht. Die reale Umgebung scheint immer etwas durch. Außerdem erreichen sie schlechtere Helligkeitswerte.
Projektor
Momentan sind Headsets der Standard für Mixed Reality Anwendungen. Denn in den letzten Jahren wurden große Fortschritte bei VR- und auch bei AR-Brillen gemacht.
Trotzdem denke ich, dass auch Projektoren gute Einsatzmöglichkeiten bieten. Im Bereich Augmented Reality werden dabei die virtuellen Inhalte direkt auf reale Objekte projiziert. Benutzer:innen benötigen keine spezielle Hardware und können die Darstellung gemeinsam mit anderen Menschen ansehen.
Für Virtual Reality sind für die 3D-Ansicht weiterhin Brillen erforderlich. Diese sind aber sehr leicht und schirmen die Umgebung nicht ab.
Früher wurde Virtual Reality häufig mit einer Stereo-Projektion umgesetzt. Beim Cave-System (Cave Automatic Virtual Environment) wurde eine Rundum-Ansicht projiziert. Eine neuere Version davon ist der Deep Space 8K im Ars Electronica Center.
Quest
Oculus war eine der ersten Firmen, die den neuen VR-Trend eingeläutet haben. Kurz darauf wurde sie von Facebook übernommen.
Die Oculus Quest sowie die Oculust Quest 2 sind günstige VR-Brillen, die hauptsächlich für den Consumer-Bereich ausgelegt sind. Der Hauptvorteil ist die einfache Bedienung. Es ist keine Anbindung an einen PC notwendig. Weiters gibt es keine zusätzliche Tracking-Hardware. Das heißt, du musst nur die Brille aufsetzen und kannst gleich in VR starten.
Remote Assistance
Remote Assistance verwendet Augmented Reality um Hilfestellung zu geben, obwohl man nicht vor Ort ist.
Ich erkläre es anhand eines Beispiels: Eine Maschine funktioniert nicht richtig und benötigt eine spezielle Einstellung. Die Expertin für diese Maschine arbeitet in einer anderen Stadt. Die Arbeiterin vor Ort ruft sie über die Remote-Assistance-App an.
Sie überträgt einen Videostream an die Expertin. Gleichzeitig wird die Szene anhand des Videostreams grob in 3D rekonstruiert. Die Expertin kann nun Anweisungen in das Video einzeichnen, z.B. welches Kabel wo angesteckt wird.
Diese Anweisungen sind nicht nur im Video zu sehen. Sie werden auch mithilfe von Augmented Reality richtig im Raum angezeigt. Die Arbeiterin vor Ort kann sich die Anweisung also aus verschiedenen Blickwinkeln ansehen.
Spatial Computing
Ein weiterer Überbegriff für Augmented und Virtual Reality ist Spatial Computing. Spatial heißt auf deutsch übersetzt „räumlich“. Es geht also um 3D-Daten. Benutzer:innen können sich innerhalb dieser 3D-Welt bewegen und Dinge interaktiv verändern.
Der Name wurde auch von der Firma Spatial aufgenommen. Diese bietet virtuelle Meetings an. Teilnehmer:innen verwenden AR und VR-Brillen und können als 3D-Avatare miteinander kommunizieren.
Tracking
Tracking bedeutet die Bewegung eines Objekts zu verfolgen. Den Begriff gibt es auch in vielen anderen Bereichen: GPS-Tracking, Nutzerverfolgung im Web, Sendungsverfolgung von Paketen, etc.
Bei Mixed Reality werden die 3D-Positionen von verschiedensten Objekten ermittelt:
- VR und AR Brillen
- Hand Controller
- Bilder und physische Objekte
- Smartphones und andere Kameras
- Gesichter und Körper
Das Ziel ist immer, reale und virtuelle Objekte miteinander zu verbinden. Nur wenn die genaue Position von realen Objekten bekannt ist, kann ein virtuelles Objekt dazu platziert werden. Verschiedene Tracking-Methoden ermöglichen unterschiedliche AR-Anwendungen.
Unity
Unity 3D ist eine Game Engine. Es ist also ein Programm um 3D-Spiele herzustellen. Es funktioniert aber auch für „ernsthafte“ Programme oder 2D-Spiele.
Die wichtigsten Komponenten sind:
- (3D)-Inhalte speichern und rendern (also auf den Bildschirm zeichnen)
- Interaktive Benutzereingaben
- Physik-Simulation (z.B. dass Objekte hinunterfallen)
- Unterstützung vieler Plattformen (Desktop, Mobile, Spielekonsolen)
Du kannst sowohl Augmented Reality als auch Virtual Reality Anwendungen mit Unity erstellen. Vor allem für mobile Augmented Reality Anwendungen ist Unity der de-facto-Standard. Alle großen Frameworks wie z.B. Vuforia oder Wikitude bieten ein Plugin für Unity. Und auch Unity selbst bietet mit dem XR Interaction Toolkit ein System für die Entwicklung von AR und VR-Anwendungen.
Virtual Reality
Virtual Reality blendet die reale Umgebung komplett aus. Im Gegensatz zu Augmented Reality siehst du dabei nur die virtuelle 3D-Umgebung. Du kannst darin umhergehen, in alle Richtungen blicken und nach virtuellen Dingen greifen.
Am einfachsten kannst du Virtual Reality mit einer speziellen Virtual Reality Brille erleben. Zum Beispiel mit der Oculus Quest oder der HTC Vive. Diese Brillen zeigen die 3D-Welt an und ermitteln mit Tracking deine Position. Denn nur mit dem richtigen Tracking kannst du dich richtig in der virtuellen Welt bewegen.
WebAR
Die meisten Augmented Reality Anwendungen funktionieren über eigenständige Apps. Moderne Browser ermöglichen die Anzeige von Augmented Reality direkt auf einer Website.
Der Vorteil von WebAR ist die einfache Verfügbarkeit. Die AR-Inhalte sind für alle Menschen über den Webbrowser verfügbar, ohne dass sie eine spezielle App installieren müssen.
Der Nachteil von WebAR ist die schlechtere Performance. Daher sind keine komplexen Inhalte oder Interaktionen möglich.
XR
XR ist ein Sammelbegriff für Augmented Reality, Virtual Reality und Mixed Reality. Das R steht für Reality und das X ist ein Platzhalter für die verschiedenen Technologien.
Manchmal wird XR auch als Extended Reality oder Cross Reality bezeichnet.
OpenXR ist ein Standard für Plattformen und Geräte von Augmented und Virtual Reality. Dieser soll die Entwicklung von plattformübergreifenden Apps erleichtern.
Youtube VR
Youtube VR ermöglicht die Anzeige von 360°-Videos in Youtube. Genaugenommen sind 360° etwas anderes als Virtual Reality. Aber VR-Brillen eignen sich sehr gut für die Anzeige von 360°-Videos.
Bei Youtube VR gibt es folgende Möglichkeiten um 360°-Videos anzusehen und eine Blickrichtung zu ändern:
- Smartphone: Bewege das Gerät um dich im 360°-Video umzusehen.
- Desktop: Verwende die Maus um die Blickrichtung zu ändern.
- Cardboard Viewer: Stecke dein Smartphone in die VR-Hülle und verwende es als VR-Headset.
- VR-Brillen: Bewege deinen Kopf um das Video rundum zu betrachten.
ZapBox
Die ZapBox ist eine neue Mixed Reality Brille, die gerade entwickelt wird. Als Display verwendet sie ein herkömmliches Smartphones. Aus diesem Grund ist ein extrem günstiger Preis von $ 40 geplant.
Das erinnert ein bisschen an Cardboard, dem VR-Gehäuse aus Karton für Smartphones. ZapBox bietet aber einige zusätzliche Features an: Es gibt Hand Controller für Interaktion und ein komplettes 6DoF-Tracking, d.h. du kannst dich frei in der VR-Welt bewegen.
Augmented Reality wird mithilfe von Video See-Through umgesetzt. Das heißt, die Smartphone-Kamera nimmt die reale Umgebung auf und zeigt sie am Display an.
Ich denke, ein derart günstiges Modell ist vor allem eine gute Möglichkeit um Prototypen zu entwickeln. Durch den niedrigen Preis ist das Gerät beispielsweise auch für Student:innen erschwinglich.
