5 Anwendungen für den Lidar-Scanner in deinem Smartphone
Planen & analysieren

5 Anwendungen für den Lidar-Scanner in deinem Smartphone

4. März 2021

Vielleicht hast du es schon gesehen: Das neue iPhone 12 Pro hat einen Lidar-Scanner. Andere Bezeichnungen dafür sind z.B. Tiefensensor. Time-of-Flight-Kamera oder 3D-Scanner. Zuvor wurde schon das iPad Pro mit einem Tiefensensor ausgestattet und auch das Galaxy S20 Ultra und das Huawei P30 Pro bieten diese zusätzliche Aufnahmemöglichkeit. Es ist also ein guter Zeitpunkt, sich diese Technologie etwas genauer anzusehen und herauszufinden, wozu du Tiefensensoren verwenden kannst.

Wie funktioniert Lidar?

Ganz einfach erklärt, funktionieren die meisten Tiefensensoren auf diese Art: Sie senden ein Signal aus und analysieren dieses Signal um die Tiefe zu messen. Sie senden einen Lichtpuls aus und messen wie lange es dauert, bis das Licht zum Objekt und wieder zurück benötigt. Diese Messung wird für jedes Pixel in der Tiefenkamera durchgeführt, sodass insgesamt ein zweidimensionales Tiefenbild entsteht. Der Begriff Lidar steht für  Light detection and ranging: Es funktioniert also ähnlich wie ein Radar, nur mit Lichtimpulsen.

Diese Beschreibung ist natürlich nur eine sehr vereinfachte Darstellung von Tiefensensoren. Es gibt verschiedenste Arten, welche Signale wie ausgesendet und vermessen werden. In diesem Artikel geht es allerdings um die Anwendung von Tiefensensoren und dafür reicht es aus, zu wissen was gemessen wird. Das ist immer die Entfernung von der aktuellen Kameraposition zum nächsten Objekt.

Lidar: Anzeige eines Tiefenbilds für das zugehörige Farbbild.
Links oben wird das Tiefenbild für das zugehörige Farbbild angezeigt. Je grüner, desto weiter weg ist ein Punkt von der Kamera.

Einzelne Tiefenbilder werden auch als 2.5D-Modelle bezeichnet. Sie speichern zwar die 3D-Form von Objekten, allerdings nur aus einer bestimmten Perspektive. Im Smartphone werden permanent neue Tiefenbilder generiert. Mehrere Tiefenbilder können zu 3D-Informationen zusammengefügt werden. Dabei wird die jeweilige Kameraposition berücksichtigt, sodass die einzelnen Tiefenbilder richtig zueinander positioniert werden.

Die einfachste Form für die Verbindung mehrerer Tiefenbilder sind 3D-Punktwolken. Die einzelnen Pixel der Tiefenbilder werden an die richtige Stelle im drei-dimensionalen Raum projiziert. Für viele Anwendungen ist es jedoch notwendig, dass ein richtiges 3D-Modell erstellt wird. 3D-Modelle bestehen aus kleinen Dreiecken, die zusammen die Oberfläche von Objekten definieren. Dieses sogenannte Meshing ist nochmal ein eigener Forschungszweig, da es viele verschiedene Parameter und mögliche Probleme gibt. Die aktuellen Software-Programme liefern für die meisten Anwendungen gute Ergebnisse.

Anwendungsgebiet für Lidar

Die wichtigste Frage zu Tiefensensoren ist natürlich, wozu kannst du sie verwenden? Ich zeige dir fünf verschiedene Anwendungsgebiete, welche von den Tiefensensoren profitieren. Bei manchen Anwendungen ist die Verwendung der Tiefensensoren für die Benutzer*innen nicht direkt sichtbar, sondern verbessert die Qualität im Hintergrund.

3D Rekonstruktion

Die offensichtlichste Anwendung ist die 3D-Rekonstruktion. Reale Objekte werden komplett rekonstruiert, sodass sie in virtuellen Anwendungen verwendet werden können. Ich habe das für meine virtuelle Einrichtungsplanung eingesetzt, indem ich Möbel rekonstruiert und an einem neuen Platz visualisiert habe. 3D-Spiele oder Virtual-Reality-Anwendungen können rekonstruierte Objekte verwenden. Dass dies nicht nur in der Theorie der Fall ist, zeigen die zahlreichen Rekonstruktionen in den 3D-Datenbanken. Sketchfab hat beispielsweise auch immer wieder Challenges zum Thema 3D-Scanning.

Es gibt bereits eine Vielzahl an verschiedenen Scanner-Applikationen. Ein paar gute Beispiele sind:

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Rekonstruktion mit der LiDAR Scanner App

Nicht nur einzelne Objekte, sondern auch ganze Zimmer können rekonstruiert werden. Auch hier ist die Einrichtungsplanung eine sinnvolle Anwendung. Für Simulationen und Trainings sind echte Räumlichkeiten sehr wertvoll. Fluchtwege überprüfen oder die Brandgefahr visualisieren ist viel eindrücklicher, wenn es im eigenen Gebäude gemacht wird. Aufgrund der Corona-Pandemie sind auch virtuelle Showrooms sehr aktuell.

YouTube

Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren

Video laden

Mit der App RoomscanLiDAR kannst du ganze Räume rekonstruieren und Grundrisse erstellen.

Augmented Reality

Augmented Reality bettet virtuelle Objekte in die reale Umgebung ein. Je besser das Augmented-Reality-System über die reale Umgebung Bescheid weiß, desto realistischer kann die Einbettung erfolgen. Tiefensensoren helfen, dass virtuelle Objekte korrekt hinter realen Objekten verschwinden. Auch für Beleuchtung und korrekten Schattenwurf ist eine genaue Vermessung der realen Umgebung zentral.

Eine spezielle Anwendung von Augmented Reality ist die Veränderung vorhandener Objekte. Wände und Böden werden beispielsweise mit neuen Farben angezeigt. Hier sind mit der genauen Rekonstruktion der Umgebung klarerweise viel bessere Ergebnisse möglich.

Abmessungen

Entfernungen mit dem Handy zu messen funktioniert mit einem aktiven Tiefensensor natürlich genauer. Der Tiefensensor misst permanent die Entfernungen zwischen dem Handy und der Umgebung. Damit lassen sich auch die Entfernungen von Objekten zueinander berechnen. Je näher sich Objekte beim Handy befinden, desto genauer sind die Messwerte des Tiefensensors. Die Measure-App von Apple integriert die Tiefendaten und bietet als zusätzliches Feature, die Größe von Menschen zu messen.

Beim Apple-Maßband wird die Genauigkeit durch den Lidar-Sensor erhöht.
Das virtuelle Maßband verwendet den Lidar-Sensor für eine bessere Genauigkeit.

Verbesserte Computer Vision

Nicht nur Abmessungen, sondern auch viele andere Anwendungen, welche auf Computer Vision basieren, funktionieren mit zusätzlichen Tiefeninformationen besser. Erkennungs-Applikationen, wie z.B. Bestimmung von Pflanzen oder Personen, basieren auf Artificial-Intelligence-Algorithmen mit Bildern. Wenn diese Algorithmen zusätzlich Tiefeninformationen verwenden, verbessert sich die Genauigkeit. Das trifft auf viele Bereich in der Computer Vision zu: Gestenerkennung, Gesichtserkennung, Body Tracking, Erkennung und Lokalisierung von Objekten, etc.

Visual Arts und Spiele

Verschiedenste visuelle Effekte und Spiele können die 3D-Informationen nutzen. Auch in sozialen Medien, vor allem Snapchat und TikTok, werden die Tiefensensoren unterstützt, um damit spezielle Filter zu erstellen. Die rekonstruierte Geometrie kann mit anderen Oberflächen dargestellt werden, z.B. mit greller Neonbeleuchtung. Partikel wie Schneeflocken oder andere visuelle Effekte wie die Matrix-Anzeige werden anhand der Geometrie angeordnet. Schließlich können beliebige 3D-Objekte realistisch in der Szene platziert werden anstatt in der Luft zu schweben.

Ausblick

Vor ein paar Jahren gab es mit dem Project Tango schon einmal den Versuch, Tiefensensoren in Smartphones zu etablieren. Damals fehlte einerseits die sogenannte „Killer-Applikation“ und andererseits zogen die großen Hersteller nicht mit. Google konzentrierte sich nach dem Aus von Project Tango vermehrt auf ARCore und gab damit Augmented Reality einen kräftigen Wachstumsschub.

Im Gegensatz zum damaligen Versuch sind nun die großen Hardware-Player dabei. Die eine große „Killer-App“, die jeder haben muss, gibt es noch immer nicht. Aber es gibt doch schon einige Augmented-Reality-Anwendungen, die von den Lidar Scannern profitieren. Die Einbindung auf Social Media Plattformen ist natürlich auch ein großer Vorteil für neue Technologien.

Ich denke, bei den meisten Anwendungen werden Lidar oder andere Sensoren im Hintergrund verarbeiten. Die Apps verwenden die Tiefeninformationen um die Qualität zu verbessern oder zusätzliche Features anzubieten. Ohne aktiven Tiefensensor wird die Umgebung mit niedrigerer Qualität rekonstruiert (z.B. mit der ARCore Depth API). Benutzer*innen denken üblicherweise nicht über die darunterliegende Hardware nach, sondern wollen einfach nur gute Apps verwenden.

No Comments

    Leave a Reply