Les ingénieurs ont développé NeuWS, une technologie vidéo qui corrige la diffusion de la lumière en temps réel, permettant ainsi une image plus claire à travers le brouillard, la fumée et les tissus. (Concept de l’artiste)
Des ingénieurs de Rice et du Maryland ont surmonté le défi de la « diffusion de la lumière » grâce à la vidéo en plein écran.
Des ingénieurs de l’Université Rice et de l’Université du Maryland ont développé une technologie vidéo en mouvement complet qui pourrait potentiellement être utilisée pour fabriquer des caméras qui scrutent à travers le brouillard, la fumée, la pluie battante, l’eau trouble, la peau, les os et d’autres médias qui réfléchissent la lumière dispersée et masquer les objets à la vue.
« L’imagerie à travers des médias diffusants est à ce stade le problème du Saint Graal en imagerie optique », a déclaré Ashok Veeraraghavan de Rice, co-auteur correspondant d’une étude en libre accès récemment publiée dans Avancées scientifiques. « La diffusion est ce qui rend la lumière – qui a une longueur d’onde inférieure et donne donc une bien meilleure résolution spatiale – inutilisable dans de très nombreux scénarios. Si vous parvenez à annuler les effets de la diffusion, l’imagerie ira bien plus loin.
Le laboratoire de Veeraraghavan a collaboré avec le groupe de recherche de l’auteur co-correspondant du Maryland Christopher Metzler pour créer une technologie qu’ils ont nommée NeuWS, qui est un acronyme pour « mise en forme du front d’onde neuronal », la technique de base de la technologie.
Lors d’expériences, la technologie de caméra appelée NeuWS, inventée par des collaborateurs de l’Université Rice et de l’Université du Maryland, a pu corriger l’interférence des médias de diffusion de la lumière entre la caméra et l’objet photographié. La rangée supérieure montre une image de référence d’un tampon papillon (à gauche), le tampon imagé par une caméra ordinaire à travers un morceau de peau d’oignon d’environ 80 microns d’épaisseur (au centre) et une image NeuWS qui a corrigé la diffusion de la lumière par la peau d’oignon. (droite). La rangée centrale montre des images de référence (à gauche), non corrigées (au centre) et corrigées (à droite) d’un échantillon de tissu d’œsophage de chien avec un diffuseur de lumière de 0,5 degré comme milieu de diffusion, et la rangée du bas montre les images correspondantes d’une cible de résolution positive avec une lame de verre recouverte de vernis à ongles comme milieu de diffusion. Des gros plans des images en médaillon de chaque rangée sont présentés à des fins de comparaison à gauche. Crédit : Laboratoire Veeraraghavan/Université du riz
« Si vous interrogez les gens qui travaillent sur les véhicules à conduite autonome quels sont les plus grands défis auxquels ils sont confrontés, ils vous répondront : « Mauvais temps ». Nous ne pouvons pas faire de bonnes images par mauvais temps.’ », a déclaré Veeraraghavan. « Ils parlent de « mauvais temps », mais ce qu’ils entendent, en termes techniques, c’est la diffusion de la lumière. Si vous interrogez des biologistes sur les plus grands défis de la microscopie, ils vous répondront : « Nous ne pouvons pas imager les tissus profonds in vivo ». Ils parlent de « tissus profonds » et « in vivo », mais ce qu’ils veulent dire en réalité, c’est que la peau et les autres couches de tissus à travers lesquelles ils veulent voir diffusent la lumière. Si vous interrogez les photographes sous-marins sur leur plus grand défi, ils vous répondront : « Je ne peux photographier que des choses qui sont proches de moi. » Ce qu’ils veulent dire en réalité, c’est que la lumière se disperse dans l’eau et ne va donc pas assez profondément pour qu’ils puissent se concentrer sur des choses éloignées.
« Dans toutes ces circonstances, et dans d’autres, le véritable problème technique est la dispersion », a déclaré Veeraraghavan.
Il a déclaré que NeuWS pourrait potentiellement être utilisé pour surmonter la dispersion dans ces scénarios et dans d’autres.
« C’est un grand pas en avant pour nous, en termes de résolution de ce problème d’une manière potentiellement pratique », a-t-il déclaré. « Il y a beaucoup de travail à faire avant de pouvoir réellement construire des prototypes dans chacun de ces domaines d’application, mais l’approche que nous avons démontrée pourrait les traverser. »
Conceptuellement, NeuWS repose sur le principe selon lequel les ondes lumineuses sont des quantités mathématiques complexes possédant deux propriétés clés qui peuvent être calculées pour n’importe quel emplacement donné. Le premier, l’amplitude, est la quantité d’énergie que la vague transporte à cet endroit, et le second est la phase, qui est l’état d’oscillation de la vague à cet endroit. Metzler et Veeraraghavan ont déclaré que la phase de mesure est essentielle pour surmonter la diffusion, mais qu’il est peu pratique de la mesurer directement en raison de la fréquence élevée de la lumière optique.
Doctorat de l’Université Rice. l’étudiant Haiyun Guo et le professeur Ashok Veeraraghavan au laboratoire d’imagerie informatique Rice. Guo, Veeraraghavan et leurs collaborateurs de l’Université du Maryland ont créé une technologie de caméra vidéo à mouvement complet qui corrige la diffusion de la lumière et a le potentiel de permettre aux caméras de filmer à travers le brouillard, la fumée, la pluie battante, l’eau trouble, la peau, les os et d’autres obstacles pénétrant la lumière. Crédit : Brandon Martin/Université Rice
Ils mesurent donc la lumière entrante sous forme de « fronts d’onde » – des mesures uniques contenant à la fois des informations de phase et d’intensité – et utilisent un traitement back-end pour déchiffrer rapidement les informations de phase à partir de plusieurs centaines de mesures de front d’onde par seconde.
« Le défi technique consiste à trouver un moyen de mesurer rapidement les informations de phase », a déclaré Metzler, professeur adjoint d’informatique au Maryland et ancien élève de Rice « triple Owl » qui a obtenu son doctorat, sa maîtrise et son baccalauréat en électricité et informatique. ingénierie de Rice en 2019, 2014 et 2013 respectivement. Metzler était à l’Université Rice lors du développement d’une itération antérieure de technologie de traitement de front d’onde appelée SOUHAIT que Veeraraghavan et ses collègues ont publié en 2020.
« WISH a résolu le même problème, mais il a fonctionné en partant du principe que tout était statique et agréable », a déclaré Veeraraghavan. « Dans le monde réel, bien sûr, les choses changent tout le temps. »
Avec NeuWS, a-t-il déclaré, l’idée est non seulement d’annuler les effets de la diffusion, mais aussi de les annuler assez rapidement pour que le milieu de diffusion lui-même ne change pas pendant la mesure.
« Au lieu de mesurer l’état de l’oscillation elle-même, vous mesurez sa corrélation avec les fronts d’onde connus », a déclaré Veeraraghavan. « Vous prenez un front d’onde connu, vous l’interférez avec le front d’onde inconnu et vous mesurez le motif d’interférence produit par les deux. C’est la corrélation entre ces deux fronts d’onde.
Metzler a utilisé l’analogie de l’observation de l’étoile polaire la nuit à travers une brume de nuages. « Si je sais à quoi est censée ressembler l’étoile polaire et que je peux dire qu’elle est floue d’une manière particulière, alors cela me dit à quel point tout le reste sera flou. »
Veerarghavan a déclaré: « Ce n’est pas une comparaison, c’est une corrélation, et si vous mesurez au moins trois de ces corrélations, vous pouvez récupérer de manière unique le front d’onde inconnu. »
Doctorat de l’Université Rice. L’étudiant Haiyun Guo, membre du Rice Computational Imaging Laboratory, présente une technologie de caméra vidéo à mouvement complet qui corrige la diffusion de la lumière, ce qui a le potentiel de permettre aux caméras de filmer à travers le brouillard, la fumée, la pluie battante, l’eau trouble, la peau, os et autres supports obscurcissants. Guo, le professeur Rice Ashok Veeraraghavan et leurs collaborateurs de l’Université du Maryland ont décrit la technologie dans une étude en libre accès publiée dans Avancées scientifiques. Crédit : Brandon Martin/Université Rice
Les modulateurs spatiaux de lumière de pointe peuvent effectuer plusieurs centaines de mesures de ce type par minute, et Veeraraghavan, Metzler et leurs collègues ont montré qu’ils pouvaient utiliser un modulateur et leur méthode informatique pour capturer une vidéo d’objets en mouvement masqués par la diffusion intermédiaire. médias.
« C’est la première étape, la preuve de principe que cette technologie peut corriger la diffusion de la lumière en temps réel », a déclaré Haiyun Guo de Rice, l’un des principaux auteurs de l’étude et titulaire d’un doctorat. étudiant dans le groupe de recherche de Veeraraghavan.
Dans une série d’expériences, par exemple, une lame de microscope contenant une image imprimée d’un hibou ou d’une tortue a été tournée sur un fuseau et filmée par une caméra aérienne. Des supports diffusant la lumière ont été placés entre la caméra et la diapositive cible, et les chercheurs ont mesuré la capacité de NeuWS à corriger la diffusion de la lumière. Des exemples de supports de diffusion comprenaient des peaux d’oignon, des lames recouvertes de vernis à ongles, des tranches de tissu de poitrine de poulet et des films diffusant la lumière. Pour chacun d’entre eux, les expériences ont montré que NeuWS pouvait corriger la diffusion de la lumière et produire une vidéo claire des figures en rotation.
« Nous avons développé des algorithmes qui nous permettent d’estimer en continu à la fois la diffusion et la scène », a déclaré Metzler. « C’est ce qui nous permet de faire cela, et nous le faisons avec une machinerie mathématique appelée représentation neuronale qui lui permet d’être à la fois efficace et rapide. »
NeuWS module rapidement la lumière des fronts d’onde entrants pour créer plusieurs mesures de phase légèrement modifiées. Les phases modifiées sont ensuite introduites directement dans un réseau neuronal de 16 000 paramètres qui calcule rapidement les corrélations nécessaires pour récupérer les informations de phase originales du front d’onde.
« Les réseaux de neurones permettent d’aller plus vite en nous permettant de concevoir des algorithmes nécessitant moins de mesures », a déclaré Veeraraghavan.
Metzler a déclaré : « C’est en fait le principal argument de vente. Moins de mesures signifie essentiellement que nous avons besoin de beaucoup moins de temps de capture. C’est ce qui nous permet de capturer des vidéos plutôt que des images fixes.
La recherche a été soutenue par l’Air Force Office of Scientific Research (FA9550-22-1-0208), la National Science Foundation (1652633, 1730574, 1648451) et le Instituts nationaux de la santé (DE032051), et un financement partiel pour le libre accès a été fourni par le Fonds de publication en libre accès des bibliothèques de l’Université du Maryland.
