Il serait possible de recréer des vidéos de détails capturés par des photos 2D grâce aux éléments flous présents sur les photos.

Les chercheurs du MIT ont réussi à mettre au point un algorithme qui permet de recréer toute la complexité de la réalité figée dans une image 2D. Prendre une photo d’un objet réel a pour effet de condenser les données visuelles de cet objet 3D dans un format d’image ou de vidéo “plat” et réduit. Selon les chercheurs, il serait possible de retrouver l’ensemble des données visuelles perdues lors de la prise de la photo à partir des éléments flous figés sur l’image. Ils estiment qu’avec leur technologie, il serait possible de recréer des scans corporels 3D à partir d’image médicale 2D.

Lorsqu’on prend une photo, on réduit les aspects tridimensionnels de celle-ci, notamment les dimensions du temps et de l’espace, à seulement deux dimensions, appelées « projections ». Comme l’explique Guha Balakrishnan, chercheuse au laboratoire d’informatique et d’intelligence artificielle du MIT, « les données visuelles ont une dimension – dans le temps ou dans l’espace – qui est complètement perdue […] Si nous récupérons cette dimension perdue, il pourra avoir de nombreuses applications importantes ».

La réduction de la réalité tridimensionnelle – comprenant le temps et l’espace – à une image en deux dimensions est particulièrement visible dans le cas d’une longue exposition de l’objectif, par exemple le mouvement des étoiles. Cela laisse une trace du mouvement sur la photo.

Rendre compte du mouvement et de la matière

Les chercheurs du MIT ont mis au point un modèle de « déprojection visuelle » qui utilise une intelligence artificielle pour comparer des photos aux résolutions réduites avec leurs images et vidéos d’origine afin de recréer toutes les données “réelles” des photos.

Dans les faits, cela se traduit par la possibilité de recréer le mouvement capturé par une ou plusieurs photos grâce aux éléments flous qui traduisent le mouvement capturé. Pour reprendre l’exemple des traînées d’étoiles figées grâce à une longue exposition, l’appareil capture le mouvement des photons sur une période donnée dans un pixel. Il est théoriquement possible de recréer le mouvement à partir de l’intensité des pixels. Ainsi, il est possible de déterminer la direction et la vitesse du mouvement de l’étoile et donc de le reconstituer.

Un principe qui pourrait s’appliquer en imagerie médicale. À partir des radios réalisées grâce aux rayons X, l’algorithme des chercheurs du MIT pourrait calculer les informations de hauteur, largeur et profondeur des structures anatomiques à partir des indices cachés dans les pixels et recréer une image tridimensionnelle. Pour l’instant, cela n’a pas encore été réalisé, mais les chercheurs pensent pouvoir y arriver.

À terme, cela permettrait de développer des images 3D de structures anatomiques – plus fidèles à la réalité – à partir d’image 2D en appliquant simplement un algorithme. Un procédé qui serait moins coûteux que les actuels rendus et donc, bénéficier aux pays et hôpitaux moins développés.