Imagerie à super-résolution

L'imagerie à super-résolution ( SR ) est une classe de techniques qui améliorent (augmentent) la résolution d'un système d'imagerie . Dans la SR optique, la limite de diffraction des systèmes est dépassée, tandis que dans la SR géométrique, la résolution des capteurs d'imagerie numérique est améliorée.

Dans certaines applications d'imagerie radar et sonar (par exemple, l'imagerie par résonance magnétique (IRM), la tomodensitométrie haute résolution ), des méthodes basées sur la décomposition de sous-espaces (par exemple, MUSIC ) et des algorithmes basés sur la détection compressée (par exemple, SAMV ) sont utilisés pour obtenir un SR sur l'algorithme de périodogramme standard .

Les techniques d'imagerie à super-résolution sont utilisées dans le traitement d'images général et dans la microscopie à super-résolution .

Étant donné que certaines des idées entourant la super-résolution soulèvent des questions fondamentales, il est nécessaire d’examiner d’emblée les principes physiques et théoriques de l’information pertinents :

• Limite de diffraction : Le détail d'un objet physique qu'un instrument optique peut reproduire dans une image a des limites qui sont imposées par les lois de la physique, qu'elles soient formulées par les équations de diffraction dans la théorie ondulatoire de la lumière ou de manière équivalente par le principe d'incertitude pour les photons en mécanique quantique . Le transfert d'informations ne peut jamais être augmenté au-delà de cette limite, mais les paquets en dehors des limites peuvent être intelligemment échangés contre (ou multiplexés avec) certains à l'intérieur. On ne « brise » pas tant la limite de diffraction que la « contourne ». Les nouvelles procédures sondant les perturbations électromagnétiques au niveau moléculaire (dans ce qu'on appelle le champ proche) restent entièrement cohérentes avec les équations de Maxwell .
  • Domaine de fréquence spatiale : Une expression succincte de la limite de diffraction est donnée dans le domaine de fréquence spatiale. En optique de Fourier, les distributions lumineuses sont exprimées comme des superpositions d'une série de motifs lumineux de réseau dans une gamme de largeurs de franges, techniquement des fréquences spatiales . On enseigne généralement que la théorie de la diffraction stipule une limite supérieure, la fréquence spatiale de coupure, au-delà de laquelle les éléments du motif ne sont pas transférés dans l'image optique, c'est-à-dire ne sont pas résolus. Mais en fait, ce qui est fixé par la théorie de la diffraction est la largeur de la bande passante, et non une limite supérieure fixe. Aucune loi de la physique n'est violée lorsqu'une bande de fréquence spatiale au-delà de la fréquence spatiale de coupure est échangée contre une autre à l'intérieur de celle-ci : cela est depuis longtemps mis en œuvre dans la microscopie à fond noir . Les règles de la théorie de l'information ne sont pas non plus violées lors de la superposition de plusieurs bandes, les démêler dans l'image reçue nécessite des hypothèses d'invariance de l'objet lors d'expositions multiples, c'est-à-dire la substitution d'un type d'incertitude à un autre.
• Information : Lorsque le terme super-résolution est utilisé dans les techniques de déduction des détails d'un objet à partir du traitement statistique de l'image dans les limites de résolution standard, par exemple, le moyennage de plusieurs expositions, il implique un échange d'un type d'information (extraction du signal du bruit) contre un autre (l'hypothèse que la cible est restée invariante).
• Résolution et localisation : La véritable résolution implique la distinction entre une cible, par exemple une étoile ou une ligne spectrale, simple ou double, nécessitant généralement des pics séparables dans l'image. Lorsqu'une cible est connue comme étant simple, sa localisation peut être déterminée avec une précision supérieure à la largeur de l'image en trouvant le centroïde (centre de gravité) de sa distribution lumineuse. Le terme d' ultra-résolution a été proposé pour ce processus mais il n'a pas été adopté, et la procédure de localisation de haute précision est généralement appelée super-résolution.

Les avancées techniques visant à améliorer les performances des dispositifs de formation et de détection d’images, désormais classés comme super-résolution, sont exploitées au maximum, mais restent toujours dans les limites imposées par les lois de la physique et de la théorie de l’information.

Substitution des bandes de fréquence spatiale : Bien que la bande passante autorisée par la diffraction soit fixe, elle peut être positionnée n'importe où dans le spectre de fréquence spatiale. L'éclairage en champ sombre en microscopie en est un exemple. Voir aussi synthèse d'ouverture .

Une image est formée en utilisant la bande passante normale du dispositif optique. Ensuite, une structure lumineuse connue, par exemple un ensemble de franges lumineuses qui n'ont même pas besoin d'être dans la bande passante, est superposée sur la cible. L'image contient maintenant des composants résultant de la combinaison de la cible et de la structure lumineuse superposée, par exemple des franges moirées , et porte des informations sur les détails de la cible que l'éclairage non structuré simple ne fournit pas. Les composants « super-résolus », cependant, doivent être démêlés pour être révélés. Pour un exemple, voir l'éclairage structuré (figure de gauche).

Si une cible ne présente pas de propriétés de polarisation ou de longueur d'onde particulières, deux états de polarisation ou régions de longueur d'onde non superposées peuvent être utilisés pour coder les détails de la cible, l'un dans une bande de fréquence spatiale à l'intérieur de la limite de coupure, l'autre au-delà. Les deux utiliseraient une transmission en bande passante normale, mais seraient ensuite décodés séparément pour reconstituer la structure de la cible avec une résolution étendue.

La discussion habituelle sur la super-résolution implique l'imagerie conventionnelle d'un objet par un système optique. Mais la technologie moderne permet de sonder la perturbation électromagnétique à des distances moléculaires de la source ce qui présente des propriétés de résolution supérieures, voir également les ondes évanescentes et le développement de la nouvelle super lentille .

Lorsqu'une image est dégradée par le bruit, il peut y avoir plus de détails dans la moyenne de plusieurs expositions, même dans la limite de diffraction. Voir l'exemple à droite.

Les défauts connus dans une situation d'imagerie donnée, tels que la défocalisation ou les aberrations , peuvent parfois être atténués en tout ou en partie par un filtrage spatial-fréquence approprié, même sur une seule image. Ces procédures restent toutes dans la bande passante imposée par la diffraction et ne l'étendent pas.

L'emplacement d'une source unique peut être déterminé en calculant le « centre de gravité » ( centroïde ) de la distribution lumineuse s'étendant sur plusieurs pixels adjacents (voir figure de gauche). À condition qu'il y ait suffisamment de lumière, cela peut être réalisé avec une précision arbitraire, bien meilleure que la largeur de pixel de l'appareil de détection et la limite de résolution pour décider si la source est unique ou double. Cette technique, qui nécessite la présupposition que toute la lumière provient d'une source unique, est à la base de ce que l'on appelle la microscopie à super-résolution , par exemple la microscopie à reconstruction optique stochastique (STORM), où des sondes fluorescentes attachées à des molécules donnent des informations de distance à l'échelle nanométrique . C'est également le mécanisme sous-jacent à l'hyperacuité visuelle .

Certaines caractéristiques d'un objet, bien qu'elles se situent au-delà de la limite de diffraction, peuvent être associées à d'autres caractéristiques d'un objet qui se situent dans ces limites et sont donc contenues dans l'image. On peut alors tirer des conclusions, à l'aide de méthodes statistiques, à partir des données d'image disponibles sur la présence de l'objet complet. L'exemple classique est la proposition de Toraldo di Francia qui consiste à juger si une image est celle d'une étoile simple ou double en déterminant si sa largeur dépasse la largeur d'une étoile simple. Cela peut être réalisé à des séparations bien inférieures aux limites de résolution classiques, et nécessite la limitation préalable au choix « simple ou double ? »

L'approche peut prendre la forme d' une extrapolation de l'image dans le domaine fréquentiel, en supposant que l'objet est une fonction analytique et que nous pouvons connaître exactement les valeurs de la fonction dans un intervalle donné . Cette méthode est sévèrement limitée par le bruit omniprésent dans les systèmes d'imagerie numérique, mais elle peut fonctionner pour le radar , l'astronomie , la microscopie ou l'imagerie par résonance magnétique . Plus récemment, un algorithme rapide de super-résolution d'image unique basé sur une solution sous forme fermée aux problèmes a été proposé et a démontré qu'il accélère considérablement la plupart des méthodes de super-résolution bayésiennes existantes.

Les algorithmes de reconstruction géométrique SR sont possibles si et seulement si les images d'entrée à basse résolution ont été sous-échantillonnées et contiennent donc un crénelage . En raison de ce crénelage, le contenu haute fréquence de l'image de reconstruction souhaitée est intégré dans le contenu basse fréquence de chacune des images observées. Étant donné un nombre suffisant d'images d'observation, et si l'ensemble des observations varie dans leur phase (c'est-à-dire si les images de la scène sont décalées d'une quantité de sous-pixel), alors les informations de phase peuvent être utilisées pour séparer le contenu haute fréquence crénelé du véritable contenu basse fréquence, et l'image pleine résolution peut être reconstruite avec précision.

En pratique, cette approche basée sur la fréquence n'est pas utilisée pour la reconstruction, mais même dans le cas d'approches spatiales (par exemple la fusion shift-add ), la présence d'aliasing est toujours une condition nécessaire à la reconstruction SR.

Il existe de nombreuses variantes de SR à la fois à image unique et à images multiples. La SR à images multiples utilise les décalages de sous-pixels entre plusieurs images basse résolution de la même scène. Elle crée une image à résolution améliorée fusionnant les informations de toutes les images basse résolution, et les images à résolution supérieure créées sont de meilleures descriptions de la scène. Les méthodes SR à image unique tentent d'agrandir l'image sans produire de flou. Ces méthodes utilisent d'autres parties des images basse résolution, ou d'autres images sans rapport, pour deviner à quoi devrait ressembler l'image haute résolution. Les algorithmes peuvent également être divisés par leur domaine : domaine fréquentiel ou domaine spatial . À l'origine, les méthodes de super-résolution ne fonctionnaient bien que sur des images en niveaux de gris, mais les chercheurs ont trouvé des méthodes pour les adapter aux images de caméra couleur. Récemment, l'utilisation de la super-résolution pour les données 3D a également été démontrée.

Des recherches prometteuses ont été menées sur l'utilisation de réseaux convolutionnels profonds pour réaliser une super-résolution. Des travaux ont notamment été réalisés pour montrer la transformation d'une image de grains de pollen au microscope 20x en une image de microscope électronique à balayage 1500x. Bien que cette technique puisse augmenter le contenu en informations d'une image, rien ne garantit que les caractéristiques mises à l'échelle existent dans l'image d'origine et les convertisseurs convolutionnels profonds ne doivent pas être utilisés dans des applications analytiques avec des entrées ambiguës. Ces méthodes peuvent halluciner les caractéristiques de l'image, ce qui peut les rendre dangereuses pour une utilisation médicale.