Vielleicht hast du es schon gesehen: Das neue iPhone 12 Pro hat einen Lidar-Scanner. Andere Bezeichnungen dafür sind z.B. Tiefensensor, Time-of-Flight-Kamera oder 3D-Scanner. Zuvor wurde schon das iPad Pro mit einem Tiefensensor ausgestattet und auch das Galaxy S20 Ultra und das Huawei P30 Pro bieten diese zusätzliche Aufnahmemöglichkeit.
Es ist also ein guter Zeitpunkt, sich diese Technologie etwas genauer anzusehen und herauszufinden, wozu du Tiefensensoren verwenden kannst.
Wie funktioniert Lidar?
Ganz einfach erklärt, funktionieren die meisten Tiefensensoren auf diese Art: Sie senden ein Signal aus und analysieren dieses Signal um die Tiefe zu messen. Sie senden einen Lichtpuls aus und messen wie lange es dauert, bis das Licht zum Objekt und wieder zurück benötigt. Diese Messung wird für jedes Pixel in der Tiefenkamera durchgeführt, sodass insgesamt ein zweidimensionales Tiefenbild entsteht. Der Begriff Lidar steht für Light detection and ranging: Es funktioniert also ähnlich wie ein Radar, nur mit Lichtimpulsen.
Diese Beschreibung ist natürlich nur eine sehr vereinfachte Darstellung von Tiefensensoren. Es gibt verschiedenste Arten, welche Signale wie ausgesendet und vermessen werden. In diesem Artikel geht es allerdings um die Anwendung von Tiefensensoren und dafür reicht es aus, zu wissen was gemessen wird. Das ist immer die Entfernung von der aktuellen Kameraposition zum nächsten Objekt.
Einzelne Tiefenbilder werden auch als 2.5D-Modelle bezeichnet. Sie speichern zwar die 3D-Form von Objekten, allerdings nur aus einer bestimmten Perspektive. Im Smartphone werden permanent neue Tiefenbilder generiert. Mehrere Tiefenbilder können zu 3D-Informationen zusammengefügt werden. Dabei wird die jeweilige Kameraposition berücksichtigt, sodass die einzelnen Tiefenbilder richtig zueinander positioniert werden.
Die einfachste Form für die Verbindung mehrerer Tiefenbilder sind 3D-Punktwolken. Die einzelnen Pixel der Tiefenbilder werden an die richtige Stelle im drei-dimensionalen Raum projiziert. Für viele Anwendungen ist es jedoch notwendig, dass ein richtiges 3D-Modell erstellt wird. 3D-Modelle bestehen aus kleinen Dreiecken, die zusammen die Oberfläche von Objekten definieren. Dieses sogenannte Meshing ist nochmal ein eigener Forschungszweig, da es viele verschiedene Parameter und mögliche Probleme gibt. Die aktuellen Software-Programme liefern für die meisten Anwendungen gute Ergebnisse.
Anwendungsmöglichkeiten für Lidar
Die wichtigste Frage zu Tiefensensoren ist natürlich, wozu kannst du sie verwenden? Ich zeige dir fünf verschiedene Anwendungsgebiete, welche von den Tiefensensoren profitieren. Bei manchen Anwendungen ist die Verwendung der Tiefensensoren für die Benutzer*innen nicht direkt sichtbar, sondern verbessert die Qualität im Hintergrund.
3D Rekonstruktion
Die offensichtlichste Anwendung ist die 3D-Rekonstruktion. Reale Objekte werden komplett rekonstruiert, sodass sie in virtuellen Anwendungen verwendet werden können. Ich habe das für meine virtuelle Einrichtungsplanung eingesetzt, indem ich Möbel rekonstruiert und an einem neuen Platz visualisiert habe. 3D-Spiele oder Virtual-Reality-Anwendungen können rekonstruierte Objekte verwenden. Dass dies nicht nur in der Theorie der Fall ist, zeigen die zahlreichen Rekonstruktionen in den 3D-Datenbanken. Sketchfab hat beispielsweise auch immer wieder Challenges zum Thema 3D-Scanning.
Es gibt bereits eine Vielzahl an verschiedenen Scanner-Applikationen. Ein paar gute Beispiele sind:
Nicht nur einzelne Objekte, sondern auch ganze Zimmer können rekonstruiert werden. Auch hier ist die Einrichtungsplanung eine sinnvolle Anwendung. Für Simulationen und Trainings sind echte Räumlichkeiten sehr wertvoll. Fluchtwege überprüfen oder die Brandgefahr visualisieren ist viel eindrücklicher, wenn es im eigenen Gebäude gemacht wird. Aufgrund der Corona-Pandemie sind auch virtuelle Showrooms sehr aktuell.
Augmented Reality
Augmented Reality bettet virtuelle Objekte in die reale Umgebung ein. Je besser das Augmented-Reality-System über die reale Umgebung Bescheid weiß, desto realistischer kann die Einbettung erfolgen. Tiefensensoren helfen, dass virtuelle Objekte korrekt hinter realen Objekten verschwinden. Auch für Beleuchtung und korrekten Schattenwurf ist eine genaue Vermessung der realen Umgebung zentral.
Eine spezielle Anwendung von Augmented Reality ist die Veränderung vorhandener Objekte. Wände und Böden werden beispielsweise mit neuen Farben angezeigt. Hier sind mit der genauen Rekonstruktion der Umgebung klarerweise viel bessere Ergebnisse möglich.
Abmessungen
Entfernungen mit dem Handy zu messen funktioniert mit einem aktiven Tiefensensor natürlich genauer. Der Tiefensensor misst permanent die Entfernungen zwischen dem Handy und der Umgebung. Damit lassen sich auch die Entfernungen von Objekten zueinander berechnen. Je näher sich Objekte beim Handy befinden, desto genauer sind die Messwerte des Tiefensensors. Die Measure-App von Apple integriert die Tiefendaten und bietet als zusätzliches Feature, die Größe von Menschen zu messen.
Verbesserte Computer Vision
Nicht nur Abmessungen, sondern auch viele andere Anwendungen, welche auf Computer Vision basieren, funktionieren mit zusätzlichen Tiefeninformationen besser. Erkennungs-Applikationen, wie z.B. Bestimmung von Pflanzen oder Personen, basieren auf Artificial-Intelligence-Algorithmen mit Bildern. Wenn diese Algorithmen zusätzlich Tiefeninformationen verwenden, verbessert sich die Genauigkeit. Das trifft auf viele Bereich in der Computer Vision zu: Gestenerkennung, Gesichtserkennung, Body Tracking, Erkennung und Lokalisierung von Objekten, etc.
Visual Arts und Spiele
Verschiedenste visuelle Effekte und Spiele können die 3D-Informationen nutzen. Auch in sozialen Medien, vor allem Snapchat und TikTok, werden die Tiefensensoren unterstützt, um damit spezielle Filter zu erstellen. Die rekonstruierte Geometrie kann mit anderen Oberflächen dargestellt werden, z.B. mit greller Neonbeleuchtung. Virtuelle Partikel wie Schneeflocken kollidieren mit echten Objekten. Schließlich können beliebige 3D-Objekte realistisch in der Szene platziert werden anstatt irgendwo in der Luft zu schweben.
Ausblick
Vor ein paar Jahren gab es mit dem Project Tango schon einmal den Versuch, Tiefensensoren in Smartphones zu etablieren. Damals fehlte einerseits die sogenannte „Killer-Applikation“ und andererseits zogen die großen Hersteller nicht mit. Google konzentrierte sich nach dem Aus von Project Tango vermehrt auf ARCore und gab damit Augmented Reality einen kräftigen Wachstumsschub.
Im Gegensatz zum damaligen Versuch sind nun die großen Hardware-Player dabei. Die eine große „Killer-App“, die jeder haben muss, gibt es noch immer nicht. Aber es gibt doch schon einige Augmented-Reality-Anwendungen, die von den Lidar Scannern profitieren. Die Einbindung auf Social Media Plattformen ist natürlich auch ein großer Vorteil für neue Technologien.
Ich denke, bei den meisten Anwendungen werden Lidar oder andere Sensoren im Hintergrund verarbeiten. Die Apps verwenden die Tiefeninformationen um die Qualität zu verbessern oder zusätzliche Features anzubieten. Ohne aktiven Tiefensensor verwenden die Apps eine Rekonstruktion mit niedrigerer Qualität (z.B. mit der ARCore Depth API). Benutzer*innen denken üblicherweise nicht über die darunterliegende Hardware nach, sondern wollen einfach nur gute Apps verwenden.
