Le LiDAR de votre smartphone peut désormais voir au-delà des angles.

Le capteur LiDAR, généralement utilisé par certains smartphones pour mesurer la profondeur, possède désormais une toute nouvelle capacité : la détection d'objets situés hors de son champ de vision direct. Des chercheurs dirigés par Siddhartha Somasundaram du MIT Media Lab ont démontré qu'un capteur LiDAR intégré à un smartphone peut reconstruire des objets 3D cachés, suivre les mouvements dans les virages et même contribuer à déterminer la position de la caméra dans l'espace grâce à la détection d'objets situés hors de son champ de vision. Le système ne produit pas d'image nette d'un espace caché, mais il permet de reconstituer des formes approximatives même en très faible luminosité et de détecter les mouvements.

Cette technologie pourrait permettre à l'avenir aux véhicules autonomes de détecter les piétons avant même que le conducteur ou la caméra ne les aperçoive, d'aider les robots à se déplacer dans des espaces encombrés et de permettre aux casques de réalité augmentée de suivre les mouvements des mains d'un utilisateur, même hors de son champ de vision. Somasundaram a souligné qu'une fonctionnalité qui nécessitait autrefois un équipement d'imagerie spécialisé est désormais accessible aux développeurs de robotique et de réalité augmentée.

Ces capteurs fonctionnent en émettant des impulsions laser et en mesurant le temps de retour de la lumière. Les capteurs LiDAR grand public modernes peuvent mesurer ce temps de vol à la picoseconde près, ce qui est suffisant pour détecter des différences de quelques centimètres. Lors de la prise de vue hors du champ de vision direct, une partie de la lumière frappe un mur ou le sol, se diffuse vers un objet caché, rebondit sur le mur et revient au capteur. Bien que ce signal soit extrêmement faible, il contient néanmoins des informations utiles.

L'équipe a utilisé un système LiDAR portable d'une centaine de pixels, chacun combinant un émetteur laser et un détecteur de photons uniques. Une image unique étant trop bruitée, les chercheurs ont combiné plusieurs images grâce à une technique appelée « échantillonnage d'ouverture induit par le mouvement », qui exploite le mouvement naturel de l'appareil dans la main pour combiner les faibles signaux et obtenir une image plus nette.

Le système a démontré avec succès trois capacités principales : la reconstruction des formes 3D d’objets statiques cachés (comme un objet en forme de U), le suivi d’objets en mouvement (notamment une balle rebondissant dans un coin) et l’utilisation d’objets cachés comme points de repère pour déterminer la position de la caméra. Les meilleurs résultats ont été obtenus avec des objets réfléchissants, car les surfaces diffuses classiques renvoient beaucoup moins de lumière.

L'expérience a été entièrement réalisée avec du matériel standard coûtant moins de 83 dollars environ, et les chercheurs ont rendu le code et les données accessibles au public. Les résultats de la recherche ont été publiés dans la revue Nature, et Jessica Rosenworcel, directrice du MIT Media Lab, a également exprimé son enthousiasme face à cette réussite.