14 Methoden um Augmented Reality Tracking zu starten

Stell dir vor, ich will ein Augmented-Reality-Spiel erstellen. Zum Beispiel ein Wettrennen zwischen einem virtuellen Pinguin und einem virtuellen Küken auf einer realen Rennstrecke in meinem Wohnzimmer. Wie kann ich die virtuellen Tiere mit meinem realen Wohnzimmer verbinden? Ich will nicht, dass sie irgendwo in der Luft herumschwirren, sondern auf einer realistischen Rennstrecke unterwegs. Dazu zeige ich dir 14 Augmented Reality Tracking Methoden, um die virtuelle Welt mit der realen Welt zu verknüpfen.

1. Image Targets

Die Kamera muss ein bestimmtes Bild sehen, damit die Augmented Reality App starten kann. Die virtuellen Inhalte werden relativ zu dem Bild positioniert.

Image Targets waren die erste Implementierung von Augmented Reality. In den Anfangsjahren waren dazu noch spezielle Marker notwendig. Richtig interessant sind sie erst seit beliebige Bilder als Image Target verwendet werden können. Dadurch sind Zeitschriften-Cover, Werbeplakate, Bücher, etc. als Einstieg in AR möglich.

Image Targets haben den Vorteil, dass sie sehr robust funktionieren und keinen User-Input benötigen. Der Nachteil ist, dass Benutzer:innen die App nur starten können, wenn sie das richtige Bild haben.

Für mein Wettrennen verwende ich drei Bilder. Diese markieren die Startpositionen der Läufer sowie die Zielposition (siehe Video). Mit zusätzlichen Bildern kann ich noch Hindernisse einbauen.

2. Cylinder Targets

Cylinder Targets funktionieren genau wie Image Targets. Das Bild wird allerdings um einen zylindrischen Körper gewickelt. Das ist besonders für Verpackungen wie Getränkedosen und -flaschen interessant.

Für mein Wettrennen verwende ich Cylinder Targets genauso wie Image Targets. Vor allem für die Hindernisse sind Cylinder Targets gut geeignet, da die echten Objekte direkt verwendbar sind.

Ein netter Effekt sind Occlusions, die bei Cylinder Targets auch ohne neuester Hardware funktionieren. Das bedeutet, die virtuellen Objekte werden von realen Objekten verdeckt, wenn sie sich dahinter befinden.

3. Parametrisierte Marker

Parametrisierte Marker sind eine Kombination aus Image Targets und Barcodes. Die Marker haben ein einheitliches Design und können zusätzliche Daten, wie z.B. eine Id, kodieren. Das ist z.B. für Verpackungen interessant, da man für jedes einzelne Produkt einen Marker mit eigener Id anbringen kann. Oder in der Industrie, wenn man eine große Anzahl an Maschinen eindeutig referenzieren will.

Mit parametrisierten Markern kann ich mein Spiel für Millionen von Benutzer:innen individuell anpassen. Je nachdem, welchen Code man hat, wird eine andere Rennstrecke aufgebaut.

4. Cloud Targets

Eine weitere Möglichkeit für eine große Anzahl von Image Targets ist die Speicherung in der Cloud. Das ist zum Beispiel für Produktetiketten notwendig, da Applikationen dafür oft bis zu einer Million verschiedener Bilder unterstützen.

In meinem Spiel verwende ich Cloud Targets, um mit vielen verschiedenen Tieren spielen zu können. Je nach Bild nimmt ein anderes Tier-Modell am Wettrennen teil.

5. Markerless Tracking: Ebenen

Markerloses Tracking funktioniert ohne zusätzliche Objekte. Man kann einfach mit dem Smartphone oder einer AR-Brille starten. Die einfachste Version ist die Detektion von Ebenen in der realen Umgebung. In Innenräumen sind das meistens der Boden oder der Tisch, aber auch Wände sind möglich. Darauf kann man dann virtuelle Objekte platzieren.

In meinem Beispiel tippe ich auf meinem Smartphone auf den Fußboden um die Start- und Zielpositionen festzulegen. Zusätzlich platziere ich noch ein paar virtuelle Hindernisse (siehe Video).

6. Markerless Tracking: Tiefensensor

In AR-Headsets und auch in einigen neuen Smartphones sind Tiefensensoren verbaut. Dadurch kann die reale Umgebung sehr gut rekonstruiert werden. Markerloses AR ist also nicht mehr auf Ebenen beschränkt, sondern kann die ganze Geometrie des Raums verwenden.

Tiefenbilder sind auch auf Geräten ohne Tiefensensor möglich. Die Qualität ist zwar geringer, aber dafür ermöglichen sie Anwendungen auf vielen Geräten. Mehr Informationen dazu gibt es in meinem Artikel über die ARCore Depth API.

Genau wie bei den Ebenen, tippe ich auf meinem Smartphone auf die Start- und Zielpositionen um das Spiel zu starten. Der Vorteil gegenüber den Ebenen ist, dass alle sichtbaren Objekte rekonstruiert werden. Das bedeutet, die realen Objekte zwischen Start und Ziel können automatisch in Hindernisse umgewandelt werden. Da steht ein Tisch im Weg? Das Küken schafft es vielleicht hinaufzuflattern, der Pinguin muss wohl rundherum.

7. World Map

Eine World Map nimmt die aktuelle Umgebung einer Augmented Reality Anwendung auf. Du kannst einen Punkt im Raum festlegen, entweder über die Ebenen, Feature Punkte oder die Geometrie vom Tiefensensor. Relativ zu diesem Punkt wird der digitale Inhalt positioniert. Wenn du die Applikation später nochmal startest, wird der digitale Inhalt wieder genau an der gleichen Stelle angezeigt. Diese Technologie wird manchmal auch als Cloud Anchor bezeichnet. Als Beispiel dafür kannst du dir auch meine Schatzsuche mit den Azure Spatial Anchors ansehen.

Mit einer World Map kann ich das Spiel genauso wie mit den Ebenen oder den Tiefensensoren gestalten. Zusätzlich kann ich meine Rennstrecke abspeichern und ein anderes Mal nochmal spielen. Habe ich die Rennstrecke in einem öffentlichen Raum erstellt, kann ich sie mit anderen Spielern teilen.

8. Model Targets

Bei Model Targets werden 3D Objekte als Input genommen. Dafür gibt es ein ähnliches Verfahren wie bei der World Map, indem du ein Objekt von allen Seiten aufnimmst. Oder du verwendest CAD-Daten als Input und die AR-Anwendung erkennt damit ein reales Objekt. Die CAD-Daten sind vor allem für Objekte mit wenigen oder unterschiedlichen Texturen besonders gut geeignet.

Für mein Spiel nehme ich echte Spielfiguren von Pinguin und Küken, um die Startpositionen zu definieren.

9. GPS-Koordinaten

Wettrennen nur im Wohnzimmer? Nein, ab nach draußen und selber laufen 🙂

GPS-Koordinaten sind die richtige Wahl für ortsbasierte Augmented Reality Anwendungen. Sie funktionieren aber nur draußen, wenn das GPS-Signal empfangen wird. Die Lokalisierung über GPS dient meist dazu, etwas an einem bestimmten Ort freizuschalten, sodass die Positionierung nicht so genau sein muss.

Das Pinguin-und-Küken-Spiel wandle ich ab: Benutzer:innen müssen nun selbst die Rennstrecke begehen. Auf einer Karte werden Checkpoints festgelegt. Sobald eine Spielerin einen Checkpoint erreicht, bekommt sie die Anweisung für den nächsten.

10. Beacons oder W-Lan

GPS funktioniert bekanntlich nur draußen. Ähnliche Anwendungen sind auch für Innenräume möglich, indem man Bluetooth Beacons oder W-Lan-Signale benutzt. Die Genauigkeit reicht bei weitem nicht an die anderen, bildbasierten Tracking-Methoden heran. Aber für Navigationen ist es meistens ausreichend. Außerdem kannst du diese Technologien verwenden, um die Suche nach visuellen Triggern einzugrenzen und somit zu verbessern.

Für das Spiel lege ich zunächst die Strecke fest, indem ich an speziellen Positionen Checkpoints erstelle. Danach funktioniert es genauso wie die GPS-Variante.

11. Face Tracking

Das Tracking von Gesichtern funktioniert mittlerweile extrem gut, wie man in zahlreichen Social Media Filtern begutachten kann. Nicht nur die Position des Gesichtes, sondern auch von Augen, Mund und Nase wird ermittelt. Im Bereich Augmented Reality wird Face Tracking oft für Hüte, Sonnenbrillen und zahlreiche lustige Effekte verwendet.

In meinem Spiel verwende ich Face Tracking nur für die Interaktion. Das Spiel wird am Bildschirm dargestellt und ein Spieler muss Hindernisse überspringen. Jedes Mal, wenn ich mit den Augen zwinkere, springt mein Spieler in die Höhe (siehe Video).

12. Body Tracking

Nicht nur das Gesicht, sondern der ganze menschliche Körper kann getracked werden. Das kann man für Kostüme verwenden oder um die eigenen Bewegungen auf ein 3D-Modell zu übertragen.

Genau wie beim Face Tracking verwende ich das Body Tracking für die Interaktion in meinem Spiel. Meine Bewegungen werden auf die virtuellen Spieler übertragen. Nun muss ich selber hüpfen, damit mein Spieler über ein Hindernis springt.

13. Text

Auch Texterkennung (auch OCR – optical character recognition genannt) kann für das Augmented Reality Tracking verwendet werden. Sobald ein bestimmtes Wort gefunden wurde, wird an dieser Stelle der virtuelle Inhalt dargestellt. Die häufigste Anwendung ist die Übersetzung von fremdsprachigen Texten, wobei die übersetzten Texte direkt an Ort und Stelle gezeigt werden.

Für mein Rennspiel drucke ich die Wörter Pinguin, Küken und Ziel aus und platziere die Papierblätter um die Rennstrecke zu definieren.

14. Objektklassen

Die Klassifizierung von Objekten funktioniert mittlerweile sehr gut. Dies wurde durch die massive Verbesserung von Machine Learning Algorithmen in den letzten Jahren ermöglicht. Klassifizierung bedeutet, dass nicht einen bestimmtes Objekt erkannt wird, sondern alle Objekte einer bestimmten Klasse. Es werden z.B. alle möglichen Autos als Trigger verwendet, nicht nur ein spezielles Modell.

Für mein Rennspiel kann ich beliebige Pinguin- und Küken-Figuren für die Startpositionen verwenden. Im Gegensatz zu Model Targets bin ich nicht auf ein spezielles Modell beschränkt.

Augmented Reality Tracking – Fazit

In diesem Artikel habe ich den Beginn einer Augmented Reality Anwendung beschrieben. Die angeführten Tracking Methoden werden also als Trigger benutzt, um AR zu starten oder ein Objekt zu platzieren. Es gibt zahlreiche Möglichkeiten, wie du virtuelle Elemente in die reale Welt einbetten kannst. Je nach Anwendung, Zielgruppe und realer Umgebung sind unterschiedliche Tracking-Methoden besser geeignet.

Diese Grafik fasst nochmal alle vorgestellten Augmented Reality Tracking Methoden zusammen. Sie lassen sich in folgende Gruppen unterteilen:

• Ein bestimmtes Objekt oder Bild wird benötigt
• Die reale Umgebung wird analysiert
• Das Tracking erkennt menschliche Körper
• Andere Bilderkennungsmethoden
• Position von Sendern

Als Beispiel hab ich ein Mini-Game gewählt um die verschiedenen Methoden zu veranschaulichen. Die gleichen Überlegungen sind aber genauso für alle anderen Augmented Reality Anwendungen relevant.

Alle Frameworks in einer Übersicht