Es passiert immer wieder: Ich erzähle von meinem Fachgebiet und verwende dafür Fachbegriffe: Mixed Reality, Virtual Reality, Tracking, etc.
Für mich selbstverständliche Begriffe. Aber natürlich nicht immer klar für Menschen, die nicht im Bereich Mixed Reality arbeiten.
Deshalb habe ich für das Mixed-Reality-ABC 26 wichtige Begriffe herausgesucht. Und kurz und knapp erklärt.
In diesem Artikel findest du den ersten Teil von A wie Augmented Reality bis M wie Mixed Reality. Die Begriffe von N wie Navigation bis Z wie Zapbox findest du im zweiten Teil. Falls du übrigens den Überblick bei AR, VR, XR, etc. verloren hast, findest du hier eine Übersicht der gängigsten Abkürzungen.
Augmented Reality
Augmented Reality bedeutet übersetzt Erweiterte Realität. Virtuelle Elemente werden zusätzlich zu unserer realen Umgebung eingeblendet. Die virtuellen Elemente können 3D-Modelle, aber auch andere visuelle Daten wie z.B. Textinformationen sein.
Die Darstellung von Augmented Reality ist mit unterschiedlicher Hardware möglich:
- Smartphones/Tablets: Das aktuelle Kamerabild wird am Bildschirm dargestellt und mit den virtuellen Inhalten kombiniert.
- Augmented Reality Headsets: Mit einem transparenten Bildschirm siehst du sowohl die echte Umgebung als auch die virtuellen Objekte.
- Projektoren: Die virtuellen Inhalte werden direkt auf die reale Umgebung projiziert.
Den Anwendungsmöglichkeiten von Augmented Reality sind keine Grenzen gesetzt. Es eignet sich für 3D Planungen, Schritt-für-Schritt-Anleitungen, Produktpräsentationen, Lernanwendungen, Gerätewartung, Werbung, Spiele und vieles mehr.
Brille
Mit Virtual Reality Brillen (z.B. Oculus Quest) wirst du komplett von der Außenwelt abgeschirmt und siehst nur die virtuelle Welt. Die eigenen Bewegungen werden in die virtuelle Welt übernommen. Drehst du z.B. den Kopf nach links, siehst du auch in der virtuellen Welt nach links. VR Brillen sind ideal für Spiele, aber auch für virtuelle Trainings, Simulationen und Produktpräsentationen.
Augmented Reality Headsets (z.B. Microsoft Hololens) haben ein transparentes Display. Du siehst also weiterhin die reale Umgebung. Mit zahlreichen Sensoren wird die Umgebung sowie die eigene Position aufgenommen. Dadurch können virtuelle 3D-Objekte so platziert werden, als ob sie sich tatsächlich im Raum befinden. Du kannst herumgehen und die Objekte von allen Seiten ansehen.
Auch Smart Glasses zeigen virtuelle Objekte, allerdings wird die reale Umgebung nicht miteinbezogen. Dadurch sind sie eher für 2D-Inhalte geeignet. Es gibt Modelle mit transparenten und nicht-transparenten Displays. Der Vorteil gegenüber Smartphones ist, dass du Informationen siehst und währenddessen beide Hände für Arbeiten oder Sport benutzen kannst.
Controller
Controller sind vor allem in Zusammenhang mit Virtual Reality Brillen bekannt. In jeder Hand hat man einen Controller mit mehreren Knöpfen. Die Position und Rotation der Controller wird automatisch getrackt und in die virtuelle Welt transferiert. Meistens ist ein bestimmter Knopf mit einer Aktion, z.B. greifen, verbunden. Dadurch kann man mit den Händen die virtuellen Objekte bearbeiten, z.B. etwas von A nach B bewegen.
Es gibt allerdings noch andere Controller, die weniger verbreitet sind. Bei Finger Controllern, z.B. von Manus VR, werden die Positionen der einzelnen Finger aufgenommen. Von Litho gibt es ein kleines Finger-Trackpad für die Steuerung von Smartglasses. Das geht auch mit Armbändern, z.B. von Mudras, welche einfache Gesten für die Steuerung verwenden.
Eine wichtige Funktion bei Controllern ist das haptische Feedback. Durch Vibrieren wissen wir zum Beispiel, dass wir in der virtuellen Welt gegen etwas gestoßen sind. Bei Finger Controllern gibt es einen Widerstand, je nachdem welches Objekt gerade gehalten wird.
Immer öfters werden Controller von Hand-Tracking ersetzt. Dabei kann man mit bestimmten Handgesten direkt eine Aktion auslösen. Ich finde es teilweise schwieriger, die Gesten richtig auszuführen statt auf einen Controller-Knopf zu drücken. Und das haptische Feedback fehlt natürlich komplett. Daher denke ich, dass uns die Controller noch länger erhalten bleiben.
Degrees of Freedom
Die Anzahl der Freiheitsgrade beschreibt, in wie vielen Dimensionen sich ein Körper bewegen kann.
Bei 3DoF, also drei Freiheitsgraden, wird nur die Rotation erfasst. Man kann also in alle Richtungen blicken, aber es hat keine Auswirkung, wenn man sich bewegt. Es sind drei Freiheitsgrade, weil man sich in einem 3D-Raum entlang von drei Achsen drehen kann. Man kann den Kopf zur Seite drehen, nach oben und unten drehen, und zur Seite neigen.
Bei 6DoF, also sechs Freiheitsgraden, wird zusätzlich zur Rotation auch die Position erfasst. Auch die Position wird mit drei Parametern erfasst: x, y, und z-Achse.
Die Unterteilung in 6DoF und 3DoF wird für Tracking-Systeme verwendet. Diese sind für Headsets und Handcontroller sehr wichtig, aber auch für Augmented Reality Applikationen am Smartphone. 6DoF ist schwieriger umzusetzen als 3DoF, aber mittlerweile werden von den meisten Systemen 6 Freiheitsgrade unterstützt.
Eye Tracking
Dabei werden die Positionen und Bewegungen der Augen vermessen. Damit wird analysiert, wohin man blickt und worauf man sich gerade fokussiert. Für Virtual Reality bietet diese Technik einige Vorteile:
- Die Grafik wird verbessert, da nur der fokussierte Bereich wichtig ist
- Intuitivere Interaktionen sind möglich. Man kann Objekte und Personen auswählen, indem man sie ansieht. Dazu muss man nicht mehr den ganzen Kopf drehen, sondern ganz normal hinblicken.
- Intentionen der Benutzer*innen können besser interpretiert werden. Zum Beispiel, wohin ein Objekt abgelegt werden soll.
- Bei Trainings oder Tests kann besser überprüft werden, ob und warum etwas übersehen wurde.
- Die Augenbewegungen werden auf virtuelle Avatare übertragen, wodurch die Kommunikation mit anderen Menschen besser funktioniert.
Face Tracking
Face Tracking bedeutet, dass die Position von Gesichtern in einem Video verfolgt wird. Auch die genauen Positionen von Augen und Mund werden ermittelt.
Im Bereich Augmented Reality wird Face Tracking in erster Linie für Selfie-Filter in unzähligen Snapchat und Instagram Effekten verwendet. Eine spezielle Anwendung ist das virtuelle Anprobieren von Schmuck, Brillen, Kopfbedeckungen und Make-Up.
Gaze
Die deutsche Übersetzung für Gaze ist Blick oder sogar starrer Blick.
Im Bereich Virtual Reality wird damit eine bestimmte Interaktionsmöglichkeit bezeichnet: Die Benutzerin richtet ihren Blick auf ein bestimmtes UI-Element. Nach einigen Sekunden wird das UI-Element aktiviert, so als ob in einem herkömmlichen Display ein Button gedrückt wird.
Der Vorteil von Gaze ist, dass keine zusätzliche Hardware für die Interaktion notwendig ist. Daher war Gaze auch sehr verbreitet bei Cardboard-Anwendungen.
Etwas mühsam ist, dass die Gaze Interaktion recht langsam ist. Denn es dauert immer ein paar Sekunden bis die gewünschte Aktion startet.
Beim herkömmlichen Gaze muss der gesamte Kopf in die Richtung des Buttons gedreht werden. Mithilfe von Eye-Tracking wird auch die Blickrichtung der Augen miteinbezogen.
Hololens
Die Hololens war das erste kommerzielle AR-Headset, welches ab 2016 verkauft wurde. Der Nachfolger Hololens 2 wurde im Jahr 2019 vorgestellt. Neben dem Display befinden sich auch Sensoren und der Prozessor direkt im Headset.
Die Hololens verwendet ein transparentes Display um virtuelle Objekte – sogenannte Hologramme – darzustellen. Aufgrund des transparenten Displays ist die normale Umgebung für die Benutzer:innen weiterhin sichtbar. Sie ist lediglich etwas abgedunkelt, da ansonsten die virtuellen Objekte zu wenig Kontrast hätten.
Benutzer:innen können die virtuellen Hologramme aus allen Blickwinkeln betrachten und mit ihnen interagieren. Die Sensoren rekonstruieren den realen Raum zu einem 3D-Modell. Dadurch können virtuelle Objekte z.B. am Boden platziert oder Informationen virtuell an die Wand projiziert werden.
Immersion
Immersion ist ein wichtige Bestandteil von Virtual Reality. Er beschreibt den Vorgang, komplett in etwas einzutauchen. Bei Virtual Reality bedeutet das, du befindest dich komplett in der virtuellen Welt und siehst nichts mehr von der realen Welt.
Perfekte Immersion würde bedeutet, dass du keinen Unterschied zwischen virtueller und realer Welt mehr wahrnimmst. Neben der visuellen Immersion müssten dazu auch alle anderen Sinne einbezogen werden. Perfekte Immersion würde ich tatsächlich etwas beängstigend finden.
Jitter
Jitter heißt übersetzt „Zittern“ und steht ganz allgemein für kleine Störungen in Netzwerken oder Algorithmen. Im Bereich Augmented Reality entsteht Jitter dadurch, dass das Tracking nie zu 100% perfekt ist.
Wird beispielsweise ein 3D-Modell auf einem realen Bild positioniert, wird die Position dieses Bildes ständig neu berechnet. Aufgrund von kleinen Abweichungen und Messfehlern erscheint die Position von Frame zu Frame etwas anders. Dadurch sieht es so aus, als ob das virtuelle Objekt zittert. Dabei ist der Jitter umso stärker, je weiter ein virtuelles Objekt vom realen Objekt weg ist.
Augmented Reality Frameworks minimieren Jitter, indem sie Berechnungen über kurze Zeiträume mitteln.
Kinect
Die Kinect ist ein Tiefensensor von Microsoft, welcher 2010 als Eingabegerät für die Spielelekonsole XBox veröffentlicht wurde. Schon sehr bald wurde das Gerät von vielen Entwicklern für andere Computer-Vision Algorithmen zweckentfremdet. Die 3D-Daten waren wertvoll für 3D-Rekonstruktion, Robotik-Anwendungen, Bildverarbeitung und auch Augmented Reality.
Nach einigen Jahren wurde die Kinect wieder eingestellt. Die Technologie wurde aber für das AR-Headset Hololens weiterentwickelt.
2020 wurde dann eine neue Version der Kinect vorgestellt. Die Azure Kinect DK richtet sich nun speziell an Entwickler:innen, die neue Produkte mithilfe von Computer Vision erstellen wollen.
Locomotion
Eine virtuelle Welt kann unendlich groß sein. Der reale Raum, in dem du dich bewegen kannst, ist hingegen auf einige Quadratmeter begrenzt. Dadurch ist es nicht möglich, die gesamte virtuelle Welt zu begehen. Du würdest unweigerlich an die realen Grenzen stoßen.
Die Lösung heißt Locomotion. Das bedeutet, dass du die eigene Position im virtuellen Raum verändern kannst. Die häufigste Locomotion-Methode ist, sich einfach an eine andere Stelle in der virtuellen Welt zu teleportieren. Dabei zeigst du mit einem virtuellen Strahl auf einen Punkt und bewegst dich augenblicklich an die neue Position.
Es gibt aber noch zahlreiche andere Locomotion-Technologien. Sehr aufwändig sind Hamsterrad-ähnliche Apparaturen. Damit geht man in der realen Welt auf der Stelle, während man in der virtuellen Welt vorwärts kommt.
Motion Sickness
Motion Sickness entsteht immer dann, wenn die visuelle Wahrnehmung nicht mit unserem Gleichgewichtssinn zusammenpasst. Wir sehen beispielsweise in der Virtual Reality Brille, dass wir durch die Gegend fliegen. Unser Gleichgewichtssinn sagt uns allerdings, dass wir uns gar nicht bewegen.
Motion Sickness ist ähnlich zu Seekrankheit und führt zu Übelkeit, Schwindel und manchmal Kopfweh. Meistens ist es schnell wieder vorbei, sobald die Sinne wieder zusammenpassen.
In VR-Anwendungen, in denen sich Benutzer:innen selbst bewegen, passt die visuelle Ansicht normalerweise zu den realen Kopfbewegungen. In diesem Fall ist Motion Sickness kein Problem.
Mixed Reality
Mixed Reality ist der Überbegriff für diesen Blogartikel. Ich verwende ihn oft als Überbegriff für Augmented und Virtual Reality. Tatsächlich gibt es aber verschiedene Definitionen.
Im Reality-Virtuality-Continuum steht Mixed Reality für alle Anwendungen, in denen reale und virtuelle Objekte vermischt werden. Augmented Reality ist in dieser Definition Teil von Mixed Reality, Virtual Reality allerdings nicht.
Im Reality-Virtuality-Continuum gibt es auch noch den Begriff Augmented Virtuality. Auch Augmented Virtuality ist Teil von Mixed Reality. Es bedeutet, dass reale Elemente zu einer virtuellen Umgebung hinzugefügt werden. Dieser Begriff ist in der Praxis allerdings kaum verbreitet.
Welche andere Mixed Reality Brille gibt es noch auf dem Markt? Sind nur die Microsoft Hololens 1 und 2 und die Magic Leap 1, oder gibt es noch andere Brillen die als MR-Brille zählen?
Die Magic Leap 2 kommt im September raus und wurde von Testern sehr gelobt.
Ansonsten gibt es aktuell keine richtigen Mixed-Reality-Headsets. Es gibt einige Smartglasses, die jedoch nicht diesen hohen Grad der Immersion bieten.
Eine kostengünstige Übergangslösung bieten Virtual-Reality-Brillen mithilfe von Video-See-Through. Aber auch hier ist die Qualität um ein Vielfaches geringer als bei echten Mixed-Reality-Headsets.