Der LiDAR-Sensor Ihres Smartphones kann jetzt um Ecken sehen.

Der LiDAR-Sensor, der in einigen Smartphones üblicherweise zur Tiefenmessung eingesetzt wird, hat eine völlig neue Fähigkeit erlangt: die Erkennung von Objekten, die sich nicht direkt vor ihm befinden. Forscher um Siddhartha Somasundaram vom MIT Media Lab haben gezeigt, dass ein Smartphone-basierter LiDAR-Sensor verborgene 3D-Objekte rekonstruieren, Bewegungen um Ecken verfolgen und sogar die Kameraposition im Raum mithilfe von Objekten außerhalb des direkten Sichtfelds bestimmen kann. Das System erzeugt zwar kein scharfes Foto eines verborgenen Bereichs, kann aber selbst bei extrem schwachem Licht grobe Umrisse rekonstruieren und Bewegungen erkennen.

Diese Technologie könnte es künftig autonomen Fahrzeugen ermöglichen, Fußgänger zu erkennen, bevor der Fahrer oder die Kamera sie sieht, Robotern die Navigation in belebten Umgebungen erleichtern und Augmented-Reality-Headsets die Verfolgung der Hände eines Nutzers ermöglichen, selbst wenn diese sich außerhalb des Sichtfelds befinden. Somasundaram betonte, dass eine Fähigkeit, die einst spezielle Bildgebungsgeräte erforderte, nun erfolgreich in die Hände von Entwicklern im Bereich Robotik und Augmented Reality gelegt wurde.

Die Sensoren funktionieren, indem sie Laserimpulse aussenden und die Laufzeit des Lichts messen. Moderne LiDAR-Sensoren für Endverbraucher können Laufzeiten im Pikosekundenbereich messen, was ausreicht, um Unterschiede im Zentimeterbereich zu erfassen. Bei Messungen außerhalb der direkten Sichtlinie trifft ein Teil des Lichts auf eine Wand oder den Boden, wird zu einem verdeckten Objekt gestreut, von der Wand reflektiert und kehrt zum Sensor zurück. Obwohl dieses Signal extrem schwach ist, enthält es dennoch nützliche Informationen.

Das Team nutzte ein tragbares LiDAR-System mit etwa 100 Pixeln, von denen jedes einen Laseremitter und einen Einzelphotonendetektor kombiniert. Da ein einzelnes Bild zu verrauscht war, kombinierten die Forscher mehrere Bilder mithilfe einer Technik namens „bewegungsinduzierte Aperturabtastung“. Diese Technik nutzt die natürliche Bewegung des Geräts in der Hand, um die schwachen Signale zu einem schärferen Bild zu vereinen.

Das System demonstrierte erfolgreich drei Hauptfunktionen: die Rekonstruktion der 3D-Formen statischer, verdeckter Objekte (z. B. eines U-förmigen Objekts), die Verfolgung bewegter Objekte (z. B. eines um eine Ecke springenden Balls) und die Verwendung verdeckter Objekte als Orientierungspunkte zur Bestimmung der Kameraposition. Die besten Ergebnisse wurden mit reflektierenden Objekten erzielt, da typische diffuse Oberflächen deutlich weniger Licht reflektieren.

Das gesamte Experiment wurde mit handelsüblicher Hardware durchgeführt, deren Kosten auf unter 83 US-Dollar geschätzt werden. Die Forscher haben den Code und die Daten öffentlich zugänglich gemacht. Die Forschungsergebnisse wurden in der Fachzeitschrift Nature veröffentlicht, und Jessica Rosenworcel, Leiterin des MIT Media Lab, zeigte sich ebenfalls begeistert von dem Erfolg.