Dieser Blog ist spezialisiert auf Augmented und Virtual Reality. Daher gibt es ganz viele Informationen, Beispiele und Anleitungen zu diesem Thema. In diesem Artikel gehe ich einen Schritt zurück und erkläre die wichtigsten Grundlagen und Konzepte von Augmented Reality. Vor allem will ich die Frage beantworten: Was ist Augmented Reality?
Definition – Was bedeutet Augmented Reality?
„Erweiterte Realität“ ist die deutsche Bezeichnung für Augmented Reality. Zur Realität wird also noch etwas hinzugefügt. Doch was genau bedeutet das?
Eine gängige Definition aus dem Jahr 1997 beschreibt die Voraussetzungen für Augmented Reality so:
1) Combines real and virtual
Ronald T. Azuma: A Survey of Augmented Reality. 1997
2) Interactive in real time
3) Registered in 3-D
Diese Definition bezieht sich auf visuelle Systeme.
- Die reale Umgebung sowie virtuelle Inhalte werden in einer gemeinsamen Ansicht gezeigt. Benutzer*innen können mit virtuellen oder realen Objekte interagieren, also z.B. verschieben, verändern, erzeugen oder löschen.
- Diese Interaktionen sowie die Anzeige finden in Echtzeit statt, d.h. Veränderungen sind sofort sichtbar.
- Die virtuelle und die reale Welt sind in 3D miteinander verknüpft und virtuelle Objekte sind von allen Seiten aus betrachtbar.
Anhand dieser Definition sind also simple 2D-Overlays, welche keinen räumlichen Bezug zur Szene haben, kein Augmented Reality. Auch Special Effects in Filmproduktionen sind kein AR, da sie weder interaktiv noch in Echtzeit erstellt werden.
Wie werden virtuelle und reale Objekte verknüpft?
Die 3D-Registrierung von virtuellen und realen Objekten ist eine wichtige Voraussetzung für Augmented Reality. Nur so können virtuelle Objekte realistisch in die Umgebung eingebettet werden.
Technische Voraussetzungen für Augmented Reality
Die Art der Verknüpfung hängt sehr stark von den technischen Möglichkeiten ab. So mussten früher immer spezielle AR-Marker verwendet werden. Mittlerweile gibt es viel mehr Möglichkeiten, um reale und virtuelle Objekte miteinander zu verknüpfen.
Beim Marker-based Tracking werden spezielle Objekte oder Marker benötigt. Diese müssen aber nicht wie QR-Codes aussehen. Auch ganz normale Bilder, zylindrische und quaderförmige Objekte und sogar beliebige 3D Formen sind möglich. Alle haben gemeinsam, dass sie schon vorab definiert werden. Benutzer*innen können die Applikation also nur ausführen, wenn sie eines der vorgegebenen Objekte haben. Diese Methode eignet sich am Besten, wenn der virtuelle Inhalt genau zum realen Objekt passt. Zum Beispiel, wenn man sich zu einem Bild im Schulbuch eine zusätzliche 3D Animation ansehen kann.
Beim Markerless Tracking gibt es hingegen keine vordefinierten Objekte. Virtuelle Objekte werden an einer beliebigen Stelle in der Umgebung platziert. Dazu muss die Umgebung analysiert werden. In einfachen Systemen werden Ebenen wie Fußboden, Wände und Tischplatten erkannt. Mithilfe von Tiefensensoren sind alle möglichen Oberflächen möglich. Hierbei ist der Vorteil, dass keine vordefinierten Bilder oder Objekte notwendig sind. Markerless Tracking eignet sich z.B. sehr gut für die Vorschau von Möbelstücken in der eigenen Wohnung.
Location-based Tracking verwendet absolute Positionen um virtuelle Inhalte zu platzieren. Im Außenbereich geschieht das über GPS-Koordinaten. Im Innenbereich sind W-Lan-Signale oder Bluetooth-Beacons möglich.
Die Tracking-Methoden können noch weiter unterteilt werden. Eine genaue Auflistung findest du in meinem Artikel 14 Methoden um Augmented Reality zu starten.
Inhaltliche Aspekte der Registrierung
Neben den technischen Möglichkeiten sind auch inhaltliche Aspekte für die Art der Registrierung wichtig.
Eine wichtige Frage ist dabei: Was passiert, wenn sich reale Objekte bewegen?
- Soll ein virtuelles Objekt, welches sich an der gleichen Stelle befindet, mitbewegt werden?
- Oder ist das virtuelle Objekt statisch und bleibt an der gleichen Stelle.
Diese Fragen sind oft gar nicht so einfach zu beantworten. Je nach Art der Applikation wird die Intention der Benutzer*innen bestmöglich eingeschätzt.
Welche Augmented Reality Hardware gibt es?
Augmented Reality Systeme bestehen aus folgenden Komponenten, welche von der Hardware unterstützt werden müssen:
- Sensoren: Die reale Umgebung wird mit Kameras und Sensoren analysiert und evt. für die Anzeige aufgenommen
- Display: Reale und virtuelle Objekte werden gemeinsam dargestellt
- User Input: Benutzer*innen können mit der Applikation interagieren
AR Headsets
Augmented Reality Headsets haben ein transparentes Display. Die reale Umgebung ist daher ganz normal sichtbar. Virtuelle Elemente werden auf den transparenten Display dargestellt.
Auf den Headsets befinden sich zahlreiche Sensoren und Kameras, um die 3D-Geometrie der realen Umgebung zu rekonstruieren. Virtuelle Objekte können daher an beliebigen Positionen im Raum positioniert werden. Für die Interaktion werden üblicherweise spezielle Handgesten verwendet.
Smartphones
Smartphones und Tablets ermöglichten erstmals, Augmented Reality einem breiteren Publikum zugänglich zu machen. Auf dem Display wird das aktuelle Kamerabild angezeigt und mit den virtuellen Objekten erweitert.
Die Analyse der realen Umgebung hängt sehr stark von den eingebauten Sensoren ab. Bei den ersten Systemen vor ca. 10 Jahren stand nur das Kamerabild zur Verfügung und die Registrierung war auf vordefinierte Bilder beschränkt. Sowohl Hardware als auch Software haben sich seitdem rasant weiterentwickelt.
In den neuesten Geräten sind z.B. Tiefensensoren eingebaut. Diese rekonstruieren die Umgebung in Echtzeit in 3D. Aber auch ohne speziellen Tiefensensor ist eine Rekonstruktion möglich, z.B. mit der ARCore Depth API.
Die Interaktion erfolgt meist als Touch-Input über das Display. Anfängliche Experimente mit Handinteraktionen (z.B. Virtual Buttons) haben sich nicht durchgesetzt. Zusätzliche Interaktionen sind noch über Veränderungen von realen Objekten möglich, z.B. durch Verschieben eines Bildes.
Projektoren
Es ist auch möglich, virtuelle Inhalte direkt auf die reale Umgebung zu projizieren. Das wird Projektor-basiertes Augmented Reality oder auch Spatial Augmented Reality genannt.
Die Projektoren werden üblicherweise an einem fixen Platz montiert. Aber auch mobile Systeme sind möglich. Für die Analyse der Umgebung werden eine zusätzliche Kamera und evt. auch andere Sensoren verwendet. Für Interaktionen gibt es verschiedene Möglichkeiten, z.B. zusätzliche Eingabegeräte oder Handgesten.
AR Systeme mit Projektoren sind aufwändig zu installieren. Ein individueller Aufbau ist notwendig, da es keine fertigen Systeme gibt.
Problematisch sind Verdeckungen durch reale Objekte oder Personen. In dem Fall kann das virtuelle Bild nicht bis zum richtigen realen Objekt gelangen. Ein großer Vorteil ist die bessere Ergonomie, da Benutzer*innen selbst kein Gerät tragen müssen.
Wie können Inhalte dargestellt werden?
3D-Modelle, Texte, Bilder, Animationen und mehr können mit Augmented Reality dargestellt werden. Solange die Daten verfügbar sind und die Leistung der Grafikkarte nicht überstrapaziert wird, sind der Kreativität keine Grenzen gesetzt.
Ich zeige dir in diesem Abschnitt die wichtigsten Konzepte für die Darstellung in Augmented Reality. Dabei handelt es sich aber nicht um eine vollständige Auflistung. Sie soll dir als Anregung dienen, aber keinesfalls deine Kreativität für neue Darstellungsformen bremsen.
Viele Beispiele, welche Inhalte sich für Augmented Reality eignen, findest du in meinem Artikel Mit Augmented Reality Unsichtbares sichtbar machen. Und zum Ausprobieren findest du viele Apps in der Liste 100+ Augmented Reality Beispiele.
Virtuelle Objekte präsentieren
Bei dieser Form ist das virtuelle Objekt das zentrale Element der AR-Anwendung. Benutzer*innen platzieren ein Objekt an einer beliebigen Stelle im Raum, um es von allen Seiten betrachten zu können. Die reale Umgebung bietet bei diesen Anwendungen die Bühne für das virtuelle Element.
Mit AR Headsets kannst du virtuelle Objekte als Hologramme ansehen. Du siehst sie in voller Größe und kannst sie von allen Blickwinkeln begutachten. Du kannst die Objekte nehmen und woanders hinstellen. Je nach Anwendung sind auch andere Bearbeitungen möglich.
Annotationen
Annotationen bieten virtuelle Zusatzinformationen zu realen Objekten. Darunter fallen z.B. textuelle Beschreibungen zu Objekten, aber auch How-To-Videos oder 3D-Animationen.
Die Anzeige der Annotationen ist optimalerweise flexibel. Die Größe und Position werden automatisch angepasst, sodass die Annotation gut lesbar ist. Gleichzeitig verdeckt sie das zu beschreibende Objekt nicht.
Die Annotationen werden entweder im Vorhinein für die Applikation festgelegt, oder sie können dynamisch von Benutzer*innen erstellt und verändert werden.
Eine typische Anwendung von Annotationen ist eine AR-Gebrauchsanweisung, wobei für jeden Schritt eine Annotation zum aktuellen Objekt erstellt wird. Ähnlich funktioniert Remote Support, wobei die Anleitungen live von einem Experten gezeichnet werden.
Superimposition
Superimposition bedeutet, dass ein virtuelles Objekt ein reales Objekt überlagert. Das reale Objekt ist in der Augmented Reality App nicht mehr sichtbar.
Beispiele:
- Anstatt einer Ruine siehst du ein 3D-Modell der ursprünglichen Burg
- Spielkarten werden durch 3D-Modelle ersetzt
- MRT-Daten werden direkt am Patienten angezeigt (mehr dazu im Artikel Unsichtbares sichtbar machen)
Eine wichtige Voraussetzung ist, dass das reale Objekte richtig erkannt wird. Nur wenn die genaue Position bekannt ist, kann das virtuelle Objekt exakt visualisiert werden.
Veränderungen der realen Umgebung
Schließlich kann bei Augmented Reality auch die reale Umgebung die Hauptrolle spielen. Computer Vision Algorithmen analysieren die Umgebung um sie in der Augmented Reality Ansicht zu verändern.
Umrandungen heben reale Objekte hervor um Benutzer*innen darauf aufmerksam zu machen. Oder das Aussehen von realen Objekten wird verändert. Es gibt z.B. zahlreiche Social Media Filter, welche die Haarfarbe ändern. Im Unterschied zur Superimposition wird das reale Objekt nicht komplett ersetzt, sondern nur verändert.
Wozu ist Augmented Reality sinnvoll?
Wie bei vielen Technologien gibt es auch bei Augmented Reality eine sehr breite Palette an Anwendungen. Das reicht von lustigen AR-Filtern auf Social Media bis zu großen Systemen in Industrieanlagen. Hier sind einige Beispiele, wofür Augmented Reality Vorteile bringt:
- Fehler minimieren: Anzeige von Hinweisen
- Weniger Vor-Ort-Termine: Analyse und Hilfestellung über Remote Support
- Schnelle Informationsabfrage zu Maschinen, Sehenswürdigkeiten, Produkten, etc.
- Try-Before-Buy: Produkte vor dem Kauf virtuell ausprobieren
- Einfach nachvollziehbare Schritt-für-Schritt-Anleitungen direkt am echten Objekt
- Spiele und Entertainment: wir erinnern uns an Pokemon Go 🙂
- Werbung und Marketing: Aufmerksamkeit durch beeindruckende Grafiken
- Einfache Begutachtung von 3D-Daten ohne komplizierte 3D-Navigation
- und vieles mehr
Augmented Reality wird seit einigen Jahren als wichtige Technologie für die Zukunft gehandelt. Nicht umsonst arbeiten die großen IT-Konzerne Apple, Meta und Google an neuer Hard- und Software in diesem Bereich. Mit geeigneter Hardware bietet Augmented Reality auch mehr Möglichkeiten als Virtual Reality.
Es wird also spannend, ob wir unsere Smartphones in Zukunft durch Augmented Reality Brillen ersetzen werden. Aber schon jetzt können Unternehmen Augmented Reality gewinnbringend einsetzen.
Mehr Informationen?
Möchtest du mehr über Augmented Reality wissen oder es in deinem eigenen Projekt verwenden? Dann sieh dir meine Angebote an oder kontaktiere mich für mehr Informationen.
