Assemblage d'images

L'assemblage d'images ou l'assemblage de photos est le processus de combinaison de plusieurs images photographiques avec des champs de vision qui se chevauchent pour produire un panorama segmenté ou une image haute résolution. Généralement effectuées à l'aide d' un logiciel informatique , la plupart des approches d'assemblage d'images nécessitent des chevauchements presque exacts entre les images et des expositions identiques pour produire des résultats homogènes, bien que certains algorithmes d'assemblage bénéficient en fait d'images différemment exposées en réalisant une imagerie à plage dynamique élevée dans les régions de chevauchement. Certains appareils photo numériques peuvent assembler leurs photos en interne.

L'assemblage d'images est largement utilisé dans les applications modernes, telles que les suivantes :

• Mosaïque de documents
• Fonction de stabilisation d'image dans les caméscopes qui utilisent l'alignement d'image à fréquence d'image
• Mosaïques d'images haute résolution dans des cartes numériques et des images satellite
• Imagerie médicale
• Imagerie multi-images en super-résolution
• Montage vidéo
• Insertion d'objet

Le processus d'assemblage d'images peut être divisé en trois composants principaux : l'enregistrement , l'étalonnage et le mélange des images .

Pour estimer l'alignement d'une image, des algorithmes sont nécessaires pour déterminer le modèle mathématique approprié reliant les coordonnées des pixels d'une image à celles d'une autre. Des algorithmes combinant des comparaisons directes pixel à pixel avec la descente de gradient (et d'autres techniques d'optimisation) peuvent être utilisés pour estimer ces paramètres.

Des caractéristiques distinctives peuvent être trouvées dans chaque image et ensuite efficacement mises en correspondance pour établir rapidement des correspondances entre paires d'images. Lorsque plusieurs images existent dans un panorama, des techniques ont été développées pour calculer un ensemble d'alignements globalement cohérent et pour découvrir efficacement quelles images se chevauchent.

Une surface de composition finale sur laquelle déformer ou transformer de manière projective et placer toutes les images alignées est nécessaire, tout comme des algorithmes pour mélanger de manière transparente les images qui se chevauchent, même en présence de parallaxe, de distorsion de l'objectif, de mouvement de scène et de différences d'exposition.

Étant donné que l'éclairage dans deux vues ne peut pas être garanti identique, l'assemblage de deux images peut créer une couture visible. D'autres raisons peuvent être à l'origine de coutures : l'arrière-plan change entre deux images pour le même premier plan continu. D'autres problèmes majeurs à traiter sont la présence de parallaxe , la distorsion de l'objectif , le mouvement de la scène et les différences d'exposition . Dans un cas réel non idéal, l'intensité varie sur toute la scène, tout comme le contraste et l'intensité sur les images. De plus, le rapport hauteur/largeur d'une image panoramique doit être pris en compte pour créer une composition visuellement agréable .

Pour l'assemblage panoramique , l'ensemble d'images idéal doit avoir un chevauchement raisonnable (au moins 15 à 30 %) pour surmonter la distorsion de l'objectif et avoir suffisamment de caractéristiques détectables. L'ensemble d'images doit avoir une exposition constante entre les images pour minimiser la probabilité d'apparition de jointures.

La détection de caractéristiques est nécessaire pour trouver automatiquement des correspondances entre les images. Des correspondances robustes sont nécessaires pour estimer la transformation nécessaire pour aligner une image avec l'image sur laquelle elle est composée. Les coins, les taches, les coins de Harris et les différences de gaussiennes de coins de Harris sont de bonnes caractéristiques car elles sont répétables et distinctes.

L'un des premiers opérateurs de détection de points d'intérêt a été développé par Hans P. Moravec en 1977 pour ses recherches sur la navigation automatique d'un robot dans un environnement en cluster. Moravec a également défini le concept de « points d'intérêt » dans une image et a conclu que ces points d'intérêt pouvaient être utilisés pour trouver des régions correspondantes dans différentes images. L'opérateur Moravec est considéré comme un détecteur de coins car il définit les points d'intérêt comme des points où il existe de grandes variations d'intensité dans toutes les directions. C'est souvent le cas dans les coins. Cependant, Moravec ne s'intéressait pas spécifiquement à la recherche de coins, mais simplement à des régions distinctes dans une image qui pourraient être utilisées pour enregistrer des trames d'images consécutives.

Harris et Stephens ont amélioré le détecteur d'angle de Moravec en prenant directement en compte le différentiel du score d'angle par rapport à la direction. Ils en avaient besoin comme étape de traitement pour construire des interprétations de l'environnement d'un robot basées sur des séquences d'images. Comme Moravec, ils avaient besoin d'une méthode pour faire correspondre les points correspondants dans des images consécutives, mais ils étaient intéressés par le suivi des angles et des bords entre les images.

SIFT et SURF sont des algorithmes récents de détection de points clés ou de points d'intérêt, mais il convient de noter que SURF est breveté et que son utilisation commerciale est restreinte. Une fois qu'une caractéristique a été détectée, une méthode de description telle que le descripteur SIFT peut être appliquée pour les faire correspondre ultérieurement.

L'enregistrement d'image implique la mise en correspondance de caractéristiques dans un ensemble d'images ou l'utilisation de méthodes d'alignement direct pour rechercher des alignements d'images qui minimisent la somme des différences absolues entre les pixels qui se chevauchent. Lors de l'utilisation de méthodes d'alignement direct, il est possible de calibrer d'abord ses images pour obtenir de meilleurs résultats. De plus, les utilisateurs peuvent saisir un modèle approximatif du panorama pour faciliter l'étape de mise en correspondance des caractéristiques, de sorte que, par exemple, seules les images voisines soient recherchées pour des caractéristiques correspondantes. Comme il y a un groupe plus petit de caractéristiques à mettre en correspondance, le résultat de la recherche est plus précis et l'exécution de la comparaison est plus rapide.

Pour estimer un modèle robuste à partir des données, une méthode couramment utilisée est connue sous le nom de RANSAC . Le nom RANSAC est une abréviation de « RAN dom Sample Consensus ». Il s'agit d'une méthode itérative d'estimation robuste des paramètres pour ajuster les modèles mathématiques à partir d'ensembles de points de données observés qui peuvent contenir des valeurs aberrantes. L'algorithme est non déterministe dans le sens où il ne produit un résultat raisonnable qu'avec une certaine probabilité, cette probabilité augmentant à mesure que des itérations sont effectuées. Le fait qu'il s'agisse d'une méthode probabiliste signifie que des résultats différents seront obtenus à chaque fois que l'algorithme est exécuté.

L'algorithme RANSAC a trouvé de nombreuses applications en vision par ordinateur, notamment la résolution simultanée du problème de correspondance et l'estimation de la matrice fondamentale liée à une paire de caméras stéréo. L'hypothèse de base de la méthode est que les données sont constituées de « valeurs aberrantes », c'est-à-dire de données dont la distribution peut être expliquée par un modèle mathématique, et de « valeurs aberrantes », qui sont des données qui ne correspondent pas au modèle. Les valeurs aberrantes sont considérées comme des points provenant du bruit, de mesures erronées ou simplement de données incorrectes.

Pour le problème d' estimation de l'homographie , RANSAC essaie d'ajuster plusieurs modèles en utilisant certaines paires de points, puis vérifie si les modèles sont capables de relier la plupart des points. Le meilleur modèle (l'homographie, qui produit le plus grand nombre de correspondances correctes) est alors choisi comme réponse au problème ; ainsi, si le rapport entre le nombre de valeurs aberrantes et les points de données est très faible, RANSAC produit un modèle correct qui s'adapte aux données.

L'étalonnage d'image vise à minimiser les différences entre un modèle d'objectif idéal et la combinaison appareil photo-objectif utilisée, les défauts optiques tels que les distorsions , les différences d'exposition entre les images, le vignettage , la réponse de l'appareil photo et les aberrations chromatiques . Si des méthodes de détection de caractéristiques ont été utilisées pour enregistrer les images et que les positions absolues des caractéristiques ont été enregistrées et sauvegardées, le logiciel d'assemblage peut utiliser les données pour l'optimisation géométrique des images en plus de placer les images sur la panosphère. Panotools et ses divers programmes dérivés utilisent cette méthode.

L'alignement peut être nécessaire pour transformer une image afin qu'elle corresponde au point de vue de l'image avec laquelle elle est composée. L'alignement, en termes simples, est un changement dans le système de coordonnées de sorte qu'il adopte un nouveau système de coordonnées qui génère une image correspondant au point de vue requis. Les types de transformations qu'une image peut subir sont la translation pure, la rotation pure, une transformation de similarité qui comprend la translation, la rotation et la mise à l'échelle de l'image qui doit être transformée, la transformation affine ou projective.

La transformation projective est la transformation la plus éloignée qu'une image puisse réaliser (dans l'ensemble des transformations planes bidimensionnelles), où seules les caractéristiques visibles conservées dans l'image transformée sont des lignes droites tandis que le parallélisme est maintenu dans une transformation affine.

La transformation projective peut être décrite mathématiquement comme

x' = H x ,

où x est les points dans l'ancien système de coordonnées, x' sont les points correspondants dans l'image transformée et H est la matrice d'homographie .

En exprimant les points x et x' à l'aide des valeurs intrinsèques de la caméra (K et K') et de sa rotation et de sa translation [R t] vers les coordonnées réelles X et X', nous obtenons

x = K [R t] X et x' = K' [R' t'] X' .

En utilisant les deux équations ci-dessus et la relation d'homographie entre x' et x, nous pouvons déduire

H = K' R' R ⁻¹ K ⁻¹

La matrice d'homographie H possède 8 paramètres ou degrés de liberté. L'homographie peut être calculée à l'aide de la transformation linéaire directe et de la décomposition en valeurs singulières avec

Un h = 0 ,

où A est la matrice construite en utilisant les coordonnées des correspondances et h est le vecteur unidimensionnel des 9 éléments de la matrice d'homographie remodelée. Pour obtenir h, nous pouvons simplement appliquer SVD : A = U S V ^T Et h = V (colonne correspondant au plus petit vecteur singulier). Ceci est vrai puisque h se trouve dans l'espace nul de A. Comme nous avons 8 degrés de liberté, l'algorithme nécessite au moins quatre correspondances de points. Dans le cas où RANSAC est utilisé pour estimer l'homographie et que plusieurs correspondances sont disponibles, la matrice d'homographie correcte est celle qui a le nombre maximal d'entiers.

La composition est le processus par lequel les images rectifiées sont alignées de telle manière qu'elles apparaissent comme une seule prise de vue d'une scène. La composition peut être effectuée automatiquement puisque l'algorithme sait désormais quelles correspondances se chevauchent.

Le mélange d'images implique l'exécution des réglages déterminés lors de l'étape d'étalonnage, combinés à un remappage des images sur une projection de sortie. Les couleurs sont ajustées entre les images pour compenser les différences d'exposition. Le cas échéant, une fusion à plage dynamique élevée est effectuée avec une compensation de mouvement et une suppression des images fantômes. Les images sont mélangées et un ajustement des lignes de couture est effectué pour minimiser la visibilité des coutures entre les images.

La couture peut être réduite par un simple réglage du gain. Cette compensation consiste essentiellement à minimiser la différence d'intensité des pixels superposés. L'algorithme de mélange d'images attribue plus de poids aux pixels proches du centre de l'image. Les images à gain compensé et les images mélangées multi-bandes sont les meilleures. IJCV 2007.

Le redressement est une autre méthode de rectification de l'image. Matthew Brown et David G. Lowe décrivent dans leur article « Automatic Panoramic Image Stitching using Invariant Features » des méthodes de redressement qui appliquent une rotation globale telle que le vecteur u soit vertical (dans le cadre de rendu), ce qui supprime efficacement l'effet ondulé des panoramas de sortie. Ce processus est similaire à la rectification d'image et, plus généralement, à la correction logicielle des distorsions optiques dans des photographies individuelles.

Même après compensation du gain, certains bords de l'image restent visibles en raison d'un certain nombre d'effets non modélisés, tels que le vignettage (l'intensité diminue vers le bord de l'image), les effets de parallaxe dus au mouvement indésirable du centre optique, les erreurs de repérage dues à une mauvaise modélisation de la caméra, la distorsion radiale, etc. Pour ces raisons, ils proposent une stratégie de fusion appelée fusion multibande.

Pour les segments d'images qui ont été pris à partir du même point dans l'espace, les images assemblées peuvent être organisées à l'aide de l'une des différentes projections cartographiques .

Projection rectiligne , où l'image assemblée est visualisée sur un plan bidimensionnel coupant la panosphère en un seul point. Les lignes qui sont droites en réalité sont représentées comme droites quelle que soit leur direction sur l'image. Les vues larges – environ 120° – commencent à présenter une distorsion sévère près des bords de l'image. Un cas de projection rectiligne est l'utilisation de faces de cube avec mappage cubique pour la visualisation panoramique. Le panorama est mappé sur six carrés, chaque face de cube montrant une zone de 90 par 90 degrés du panorama.

Projection cylindrique , où l'image assemblée présente un champ de vision horizontal de 360° et un champ de vision vertical limité. Les panoramas de cette projection sont censés être visualisés comme si l'image était enveloppée dans un cylindre et vue de l'intérieur. Lorsqu'elles sont visualisées sur un plan 2D, les lignes horizontales apparaissent courbées tandis que les lignes verticales restent droites. La distorsion verticale augmente rapidement à l'approche du sommet de la panosphère. Il existe divers autres formats cylindriques, tels que les cylindriques Mercator et Miller , qui présentent moins de distorsion près des pôles de la panosphère.

Projection sphérique ou projection équirectangulaire – qui est à proprement parler une autre projection cylindrique – où l'image assemblée montre un champ de vision horizontal de 360° par vertical de 180°, c'est-à-dire la sphère entière. Les panoramas dans cette projection sont censés être vus comme si l'image était enveloppée dans une sphère et vue de l'intérieur. Lorsqu'elles sont visualisées sur un plan 2D, les lignes horizontales apparaissent courbées comme dans une projection cylindrique, tandis que les lignes verticales restent verticales.

Étant donné qu'un panorama est en fait une carte d'une sphère, diverses autres projections cartographiques de cartographes peuvent également être utilisées si on le souhaite. De plus, il existe des projections spécialisées qui peuvent avoir des avantages esthétiques plus agréables que les projections cartographiques normales, telles que la projection Panini de Hugin – nommée d'après le peintre védutiste italien Giovanni Paolo Panini – ou la projection védutiste de PTGui. Différentes projections peuvent être combinées dans la même image pour affiner l'aspect final de l'image de sortie.

La projection stéréographique ou la projection fisheye peuvent être utilisées pour former un petit panorama planétaire en pointant la caméra virtuelle vers le bas et en définissant un champ de vision suffisamment grand pour montrer l'ensemble du sol et certaines zones au-dessus ; pointer la caméra virtuelle vers le haut crée un effet de tunnel. La conformité de la projection stéréographique peut produire un résultat visuellement plus agréable que la projection fisheye à surface égale, comme indiqué dans l'article sur la projection stéréographique.

L'utilisation d'images non prises au même endroit (sur un pivot autour de la pupille d'entrée de la caméra) peut conduire à des erreurs de parallaxe dans le produit final. Lorsque la scène capturée présente un mouvement rapide ou dynamique, des artefacts peuvent survenir en raison des différences de temps entre les segments d'image. L'assemblage à l'aveugle par des méthodes d'alignement basées sur les caractéristiques (voir autostitch ), par opposition à la sélection et à l'assemblage manuels, peut entraîner des imperfections dans l'assemblage du panorama.

Parmi les programmes dédiés, on trouve Autostitch , Hugin , Ptgui , Panorama Tools , Microsoft Research Image Composite Editor et CleVR Stitcher . De nombreux autres programmes peuvent également assembler plusieurs images ; un exemple populaire est Photoshop d' Adobe Systems , qui comprend un outil connu sous le nom de Photomerge et, dans les dernières versions, le nouveau Auto-Blend . D'autres programmes tels que VideoStitch permettent d'assembler des vidéos, et Vahana VR permet l'assemblage de vidéos en temps réel. Le module Image Stitching pour le logiciel de microscope QuickPHOTO permet d'assembler de manière interactive plusieurs champs de vision du microscope à l'aide de la vue en direct de la caméra. Il peut également être utilisé pour l'assemblage manuel d'échantillons de microscopie entiers.