Segmentation d'images

En traitement d'images numériques et en vision par ordinateur , la segmentation d'images est le processus de partitionnement d'une image numérique en plusieurs segments d'image , également appelés régions d'image ou objets d'image ( ensembles de pixels ). L'objectif de la segmentation est de simplifier et/ou de modifier la représentation d'une image en quelque chose de plus significatif et plus facile à analyser. La segmentation d'images est généralement utilisée pour localiser des objets et des limites (lignes, courbes, etc.) dans les images. Plus précisément, la segmentation d'images est le processus d'attribution d'une étiquette à chaque pixel d'une image de telle sorte que les pixels portant la même étiquette partagent certaines caractéristiques.

Le résultat de la segmentation d'image est un ensemble de segments qui couvrent collectivement l'image entière, ou un ensemble de contours extraits de l'image (voir détection des contours ). Chacun des pixels d'une région est similaire par rapport à une caractéristique ou une propriété calculée, telle que la couleur , l'intensité ou la texture . Les régions adjacentes sont significativement différentes par rapport à la ou aux mêmes caractéristiques. Lorsqu'ils sont appliqués à une pile d'images, typique de l' imagerie médicale , les contours résultants après la segmentation d'image peuvent être utilisés pour créer des reconstructions 3D à l'aide d'algorithmes de reconstruction géométrique comme les cubes en marche .

Certaines des applications pratiques de la segmentation d’images sont :

• Récupération d'images basée sur le contenu
• Vision artificielle
• Imagerie médicale , et études d'imagerie dans la recherche biomédicale, y compris les images rendues en volume à partir de la tomodensitométrie , de l'imagerie par résonance magnétique , ainsi que des techniques de microscopie électronique volumique telles que FIB-SEM.
  • Localiser les tumeurs et autres pathologies
  • Mesurer les volumes de tissus
  • Diagnostic, étude de la structure anatomique
  • Planification de la chirurgie
  • Simulation de chirurgie virtuelle
  • Navigation intra-opératoire
  • Radiothérapie
• Détection d'objets
  • Détection des piétons
  • Détection de visage
  • Détection des feux stop
  • Localiser des objets dans des images satellites (routes, forêts, cultures, etc.)
• Tâches de reconnaissance
  • Reconnaissance faciale
  • Reconnaissance des empreintes digitales
  • Reconnaissance de l'iris
  • Objet interdit aux points de contrôle de sécurité des aéroports
• Systèmes de contrôle du trafic
• Surveillance vidéo
• Co-segmentation d'objets vidéo et localisation d'actions

Plusieurs algorithmes et techniques à usage général ont été développés pour la segmentation d'images. Pour être utiles, ces techniques doivent généralement être combinées avec les connaissances spécifiques d'un domaine afin de résoudre efficacement les problèmes de segmentation du domaine.

Il existe deux classes de techniques de segmentation.

• Approches classiques de la vision par ordinateur
• Techniques basées sur l'IA

• La segmentation sémantique est une approche détectant, pour chaque pixel, la classe d'appartenance. Par exemple, dans une figure comportant de nombreuses personnes, tous les pixels appartenant à des personnes auront le même identifiant de classe et les pixels en arrière-plan seront classés comme arrière-plan.
• La segmentation d'instances est une approche qui identifie, pour chaque pixel, l'instance spécifique à laquelle appartient l'objet. Elle détecte chaque objet distinct d'intérêt dans l'image. Par exemple, lorsque chaque personne d'une figure est segmentée en tant qu'objet individuel.
• La segmentation panoptique combine à la fois la segmentation sémantique et la segmentation par instance. Comme la segmentation sémantique, la segmentation panoptique est une approche qui identifie, pour chaque pixel, la classe à laquelle il appartient. De plus, comme dans la segmentation par instance, la segmentation panoptique distingue différentes instances d'une même classe.

La méthode la plus simple de segmentation d'image est appelée méthode de seuillage . Cette méthode est basée sur un niveau de découpage (ou une valeur de seuil) pour transformer une image en niveaux de gris en une image binaire.

La clé de cette méthode est de sélectionner la valeur de seuil (ou les valeurs lorsque plusieurs niveaux sont sélectionnés). Plusieurs méthodes populaires sont utilisées dans l'industrie, notamment la méthode d'entropie maximale, le seuillage par histogramme équilibré , la méthode d'Otsu (variance maximale) et le clustering k-means .

Récemment, des méthodes ont été développées pour établir un seuillage des images obtenues par tomodensitométrie (TDM). L'idée clé est que, contrairement à la méthode d'Otsu, les seuils sont dérivés des radiographies plutôt que de l'image (reconstruite).

De nouvelles méthodes ont suggéré l'utilisation de seuils non linéaires basés sur des règles floues multidimensionnelles. Dans ces travaux, la décision sur l'appartenance de chaque pixel à un segment est basée sur des règles multidimensionnelles dérivées de la logique floue et d'algorithmes évolutionnaires basés sur l'environnement d'éclairage de l'image et l'application.

L' algorithme K-means est une technique itérative utilisée pour partitionner une image en K clusters. L' algorithme de base est

1. Choisissez K centres de cluster, soit de manière aléatoire , soit en fonction d'une méthode heuristique , par exemple K-means++
2. Affectez chaque pixel de l'image au groupe qui minimise la distance entre le pixel et le centre du groupe
3. Recalculer les centres du cluster en faisant la moyenne de tous les pixels du cluster
4. Répétez les étapes 2 et 3 jusqu'à ce que la convergence soit atteinte (c'est-à-dire qu'aucun pixel ne change de groupe)

Dans ce cas, la distance est la différence au carré ou absolue entre un pixel et le centre d'un cluster. La différence est généralement basée sur la couleur , l'intensité , la texture et l'emplacement du pixel, ou sur une combinaison pondérée de ces facteurs. K peut être sélectionné manuellement, de manière aléatoire ou par une heuristique . Cet algorithme est garanti de converger, mais il peut ne pas renvoyer la solution optimale . La qualité de la solution dépend de l'ensemble initial de clusters et de la valeur de K.

L' algorithme Mean Shift est une technique utilisée pour partitionner une image en un nombre de clusters inconnu à priori . Cela présente l'avantage de ne pas avoir à partir d'une estimation initiale de ce paramètre, ce qui en fait une meilleure solution générale pour des cas plus divers.

La segmentation basée sur le mouvement est une technique qui s'appuie sur le mouvement de l'image pour effectuer la segmentation.

L'idée est simple : observer les différences entre deux images. En supposant que l'objet d'intérêt soit en mouvement, la différence sera exactement cet objet.

En s'appuyant sur cette idée, Kenney et al. ont proposé une segmentation interactive [2]. Ils utilisent un robot pour toucher les objets afin de générer le signal de mouvement nécessaire à la segmentation basée sur le mouvement.

La segmentation interactive suit le cadre de perception interactive proposé par Dov Katz [3] et Oliver Brock [4].

Une autre technique basée sur le mouvement est la segmentation rigide du mouvement .

Les méthodes basées sur la compression postulent que la segmentation optimale est celle qui minimise, sur toutes les segmentations possibles, la longueur de codage des données. Le lien entre ces deux concepts est que la segmentation essaie de trouver des motifs dans une image et que toute régularité dans l'image peut être utilisée pour la compresser. La méthode décrit chaque segment par sa texture et la forme de ses limites. Chacun de ces composants est modélisé par une fonction de distribution de probabilité et sa longueur de codage est calculée comme suit :

1. Le codage des limites exploite le fait que les régions des images naturelles ont tendance à avoir un contour lisse. Ce principe est utilisé par le codage de Huffman pour coder le code de la chaîne de différence des contours d'une image. Ainsi, plus une limite est lisse, plus la longueur de codage qu'elle atteint est courte.
2. La texture est codée par compression avec perte d'une manière similaire au principe de longueur de description minimale (MDL), mais ici la longueur des données données au modèle est approximée par le nombre d'échantillons multiplié par l' entropie du modèle. La texture de chaque région est modélisée par une distribution normale multivariée dont l'entropie a une expression sous forme fermée. Une propriété intéressante de ce modèle est que l'entropie estimée limite l'entropie réelle des données ci-dessus. En effet, parmi toutes les distributions avec une moyenne et une covariance données, la distribution normale a la plus grande entropie. Ainsi, la vraie longueur de codage ne peut pas être supérieure à ce que l'algorithme essaie de minimiser.

Pour toute segmentation donnée d'une image, ce schéma fournit le nombre de bits requis pour coder cette image en fonction de la segmentation donnée. Ainsi, parmi toutes les segmentations possibles d'une image, l'objectif est de trouver la segmentation qui produit la longueur de codage la plus courte. Cela peut être réalisé par une simple méthode de clustering agglomératif. La distorsion dans la compression avec perte détermine la grossièreté de la segmentation et sa valeur optimale peut différer pour chaque image. Ce paramètre peut être estimé de manière heuristique à partir du contraste des textures d'une image. Par exemple, lorsque les textures d'une image sont similaires, comme dans les images de camouflage, une sensibilité plus forte et donc une quantification plus faible sont nécessaires.

Les méthodes basées sur l'histogramme sont très efficaces par rapport aux autres méthodes de segmentation d'image car elles ne nécessitent généralement qu'un seul passage à travers les pixels . Dans cette technique, un histogramme est calculé à partir de tous les pixels de l'image, et les pics et les vallées de l'histogramme sont utilisés pour localiser les clusters dans l'image. La couleur ou l'intensité peuvent être utilisées comme mesure.

Une variante de cette technique consiste à appliquer de manière récursive la méthode de recherche d'histogramme aux groupes de l'image afin de les diviser en groupes plus petits. Cette opération est répétée avec des groupes de plus en plus petits jusqu'à ce qu'il n'y ait plus de groupes formés.

L’un des inconvénients de la méthode de recherche d’histogramme est qu’il peut être difficile d’identifier les pics et les vallées significatifs dans l’image.

Les approches basées sur l'histogramme peuvent également être rapidement adaptées pour s'appliquer à plusieurs images, tout en conservant leur efficacité en un seul passage. L'histogramme peut être réalisé de plusieurs manières lorsque plusieurs images sont prises en compte. La même approche adoptée avec une image peut être appliquée à plusieurs images, et une fois les résultats fusionnés, les pics et les creux qui étaient auparavant difficiles à identifier sont plus susceptibles d'être distingués. L'histogramme peut également être appliqué pixel par pixel, où les informations résultantes sont utilisées pour déterminer la couleur la plus fréquente pour l'emplacement du pixel. Cette approche segmente en fonction des objets actifs et d'un environnement statique, ce qui donne lieu à un type de segmentation différent, utile dans le suivi vidéo .

La détection des contours est un domaine à part entière bien développé dans le traitement d'images. Les limites et les contours des régions sont étroitement liés, car il y a souvent un ajustement brutal de l'intensité aux limites des régions. Les techniques de détection des contours ont donc été utilisées comme base d'une autre technique de segmentation.

Les contours identifiés par la détection des contours sont souvent déconnectés. Cependant, pour segmenter un objet à partir d'une image, il faut des limites de régions fermées. Les contours souhaités sont les limites entre ces objets ou taxons spatiaux.

Les taxons spatiaux sont des granules d'information constitués d'une région de pixels nets, placés à des niveaux d'abstraction au sein d'une architecture de scène imbriquée hiérarchique. Ils sont similaires à la désignation psychologique de la Gestalt de la figure-fond, mais sont étendus pour inclure le premier plan, les groupes d'objets, les objets et les parties d'objets saillantes. Les méthodes de détection des contours peuvent être appliquées à la région des taxons spatiaux, de la même manière qu'elles seraient appliquées à une silhouette. Cette méthode est particulièrement utile lorsque le bord déconnecté fait partie d'un contour illusoire

Les méthodes de segmentation peuvent également être appliquées aux arêtes obtenues à partir de détecteurs d'arêtes. Lindeberg et Li ont développé une méthode intégrée qui segmente les arêtes en segments d'arêtes droits et courbes pour la reconnaissance d'objets basée sur des parties, sur la base d'un critère de longueur de description minimale (M _DL ) qui a été optimisé par une méthode de type split-and-merge avec des points d'arrêt candidats obtenus à partir d'indices de jonction complémentaires pour obtenir des points plus probables auxquels considérer les partitions en différents segments.

La détection de points isolés dans une image est une partie fondamentale de la segmentation d'images. Ce processus dépend principalement de la dérivée seconde, ce qui indique l'utilisation de l'opérateur laplacien. Le laplacien d'une fonction est donné par :

L'opérateur laplacien est utilisé de telle sorte que les dérivées partielles soient dérivées d'une équation spécifique. Les dérivées partielles secondes de par rapport à et sont données par :

Ces dérivées partielles sont ensuite utilisées pour calculer le Laplacien comme :

Cette expression mathématique peut être mise en œuvre par convolution avec un masque approprié. Si nous étendons cette équation à trois dimensions (x, y, z), l'intensité à chaque emplacement de pixel autour d'un pixel central à (x, y, z) est remplacée par leurs valeurs correspondantes. Cette équation devient particulièrement utile lorsque nous supposons que tous les pixels ont un espacement unitaire le long de chaque axe.

Un masque sphérique a été développé pour être utilisé avec des ensembles de données tridimensionnels. Le masque sphérique est conçu pour utiliser uniquement l'arithmétique des nombres entiers lors des calculs, éliminant ainsi le besoin de matériel ou de logiciel à virgule flottante.

Lorsque nous appliquons ces concepts à des images réelles représentées sous forme de tableaux de nombres, nous devons considérer ce qui se passe lorsque nous atteignons un bord ou une zone de bordure. La fonction est définie comme suit :

L'équation ci-dessus est utilisée pour déterminer si un point de l'image est un point isolé en fonction de la magnitude de la réponse et d'une valeur seuil . Si la magnitude de la réponse est supérieure ou égale au seuil, la fonction renvoie 1, indiquant la présence d'un point isolé ; sinon, elle renvoie 0. Cela permet de détecter et de segmenter efficacement les points isolés de l'image.

La détection de points isolés a des applications importantes dans divers domaines, notamment le traitement d'images à rayons X. Par exemple, une image à rayons X originale d'une pale de turbine peut être examinée pixel par pixel pour détecter la porosité dans le quadrant supérieur droit de la pale. Le résultat de l'application de la réponse d'un détecteur de bord à cette image à rayons X peut être approximé. Cela démontre la segmentation de points isolés dans une image à l'aide de sondes à pixel unique.

Cette méthode est une combinaison de trois caractéristiques de l'image : la partition de l'image basée sur l'analyse de l'histogramme est vérifiée par la grande compacité des clusters (objets) et les gradients élevés de leurs bordures. Pour cela, deux espaces doivent être introduits : le premier espace est l'histogramme unidimensionnel de luminosité H = H ( B ) ; le second espace est l'espace dual tridimensionnel de l'image originale elle-même B = B ( x , y ). Le premier espace permet de mesurer la compacité de la distribution de luminosité de l'image en calculant un clustering minimal kmin. Le seuil de luminosité T correspondant à kmin définit l'image binaire (noir et blanc) – bitmap b = φ ( x , y ) , où φ ( x , y ) = 0, si B ( x , y ) < T , et φ ( x , y ) = 1, si B ( x , y ) ≥ T . Le bitmap b est un objet dans l'espace dual. Sur cette image bitmap, une mesure doit être définie reflétant la compacité des pixels noirs (ou blancs) distribués. L'objectif est donc de trouver des objets avec de bonnes bordures. Pour tout T , la mesure M _DC = G /( k × L ) doit être calculée (où k est la différence de luminosité entre l'objet et l'arrière-plan, L est la longueur de toutes les bordures et G est le gradient moyen sur les bordures). Le maximum de MDC définit la segmentation.

Les méthodes de croissance de région reposent principalement sur l'hypothèse selon laquelle les pixels voisins d'une région ont des valeurs similaires. La procédure courante consiste à comparer un pixel avec ses voisins. Si un critère de similarité est satisfait, le pixel peut être défini comme appartenant au même groupe qu'un ou plusieurs de ses voisins. Le choix du critère de similarité est important et les résultats sont influencés par le bruit dans tous les cas.

La méthode de fusion statistique des régions (SRM) commence par la construction du graphe des pixels en utilisant la 4-connectivité avec des arêtes pondérées par la valeur absolue de la différence d'intensité. Au départ, chaque pixel forme une seule région de pixels. SRM trie ensuite ces arêtes dans une file d'attente prioritaire et décide de fusionner ou non les régions actuelles appartenant aux pixels d'arêtes à l'aide d'un prédicat statistique.

Une méthode de croissance de région est la méthode de croissance de région ensemencée. Cette méthode prend un ensemble de graines en entrée avec l'image. Les graines marquent chacun des objets à segmenter. Les régions sont développées de manière itérative en comparant tous les pixels voisins non alloués aux régions. La différence entre la valeur d'intensité d'un pixel et la moyenne de la région, , est utilisée comme mesure de similarité . Le pixel avec la plus petite différence mesurée de cette manière est attribué à la région correspondante. Ce processus continue jusqu'à ce que tous les pixels soient attribués à une région. Étant donné que la croissance de région ensemencée nécessite des graines en entrée supplémentaire, les résultats de la segmentation dépendent du choix des graines, et le bruit dans l'image peut entraîner un mauvais placement des graines.

Une autre méthode de croissance de région est la méthode de croissance de région non ensemencée. Il s'agit d'un algorithme modifié qui ne nécessite pas de graines explicites. Il commence avec une seule région : le pixel choisi ici n'influence pas de manière marquée la segmentation finale. À chaque itération, il considère les pixels voisins de la même manière que la croissance de région ensemencée. Il diffère de la croissance de région ensemencée en ce que si le minimum est inférieur à un seuil prédéfini , il est ajouté à la région concernée . Dans le cas contraire, le pixel est considéré comme différent de toutes les régions actuelles et une nouvelle région est créée avec ce pixel.

Une variante de cette technique, proposée par Haralick et Shapiro (1985), est basée sur les intensités des pixels . La moyenne et la dispersion de la région ainsi que l'intensité du pixel candidat sont utilisées pour calculer une statistique de test. Si la statistique de test est suffisamment petite, le pixel est ajouté à la région et la moyenne et la dispersion de la région sont recalculées. Sinon, le pixel est rejeté et utilisé pour former une nouvelle région.

Une méthode spéciale de croissance de région est appelée segmentation α connectée (voir aussi lambda-connectedness ). Elle est basée sur les intensités de pixels et les chemins de liaison de voisinage. Un degré de connectivité (connectivité) est calculé sur la base d'un chemin formé de pixels. Pour une certaine valeur de , deux pixels sont dits α connectés s'il existe un chemin reliant ces deux pixels et que la connectivité de ce chemin est au moins α . La α connectivité est une relation d'équivalence.

La segmentation par division et fusion est basée sur une partition quadtree d'une image. Elle est parfois appelée segmentation quadtree.

Cette méthode démarre à la racine de l'arbre qui représente l'image entière. Si elle est jugée non uniforme (non homogène), elle est divisée en quatre carrés enfants (processus de division), et ainsi de suite. Si, au contraire, quatre carrés enfants sont homogènes, ils sont fusionnés en plusieurs composants connectés (processus de fusion). Le nœud de l'arbre est un nœud segmenté. Ce processus se poursuit de manière récursive jusqu'à ce qu'aucune autre division ou fusion ne soit possible. Lorsqu'une structure de données spéciale est impliquée dans la mise en œuvre de l'algorithme de la méthode, sa complexité temporelle peut atteindre , un algorithme optimal de la méthode.

En utilisant une méthode basée sur une équation aux dérivées partielles (EDP) et en résolvant l'équation EDP par un schéma numérique, on peut segmenter l'image. La propagation de courbe est une technique populaire dans cette catégorie, avec de nombreuses applications à l'extraction d'objets, au suivi d'objets, à la reconstruction stéréo, etc. L'idée centrale est de faire évoluer une courbe initiale vers le potentiel le plus bas d'une fonction de coût, où sa définition reflète la tâche à traiter. Comme pour la plupart des problèmes inverses , la minimisation de la fonctionnelle de coût n'est pas triviale et impose certaines contraintes de régularité à la solution, qui dans le cas présent peuvent être exprimées comme des contraintes géométriques sur la courbe en évolution.

Les techniques lagrangiennes reposent sur la paramétrisation du contour selon une stratégie d'échantillonnage, puis sur l'évolution de chaque élément selon l'image et les termes internes. Ces techniques sont rapides et efficaces, cependant la formulation "purement paramétrique" originale (due à Kass, Witkin et Terzopoulos en 1987 et connue sous le nom de " snakes "), est généralement critiquée pour ses limitations concernant le choix de la stratégie d'échantillonnage, les propriétés géométriques internes de la courbe, les changements de topologie (séparation et fusion de courbes), la résolution de problèmes en dimensions supérieures, etc. De nos jours, des formulations "discrétisées" efficaces ont été développées pour répondre à ces limitations tout en maintenant une efficacité élevée. Dans les deux cas, la minimisation de l'énergie est généralement réalisée en utilisant une descente du gradient le plus raide, où les dérivées sont calculées en utilisant, par exemple, des différences finies.

La méthode des niveaux a été initialement proposée pour suivre les interfaces en mouvement par Dervieux et Thomasset en 1979 et 1981 et a ensuite été réinventée par Osher et Sethian en 1988. Elle s'est répandue dans divers domaines d'imagerie à la fin des années 1990. Elle peut être utilisée pour résoudre efficacement le problème de la propagation de courbes/surfaces/etc. de manière implicite. L'idée centrale est de représenter le contour en évolution à l'aide d'une fonction signée dont le zéro correspond au contour réel. Ensuite, selon l'équation de mouvement du contour, on peut facilement dériver un flux similaire pour la surface implicite qui, une fois appliqué au niveau zéro, reflétera la propagation du contour. La méthode des niveaux présente de nombreux avantages : elle est implicite, est sans paramètre, fournit un moyen direct d'estimer les propriétés géométriques de la structure en évolution, permet un changement de topologie et est intrinsèque. Il peut être utilisé pour définir un cadre d'optimisation, comme proposé par Zhao, Merriman et Osher en 1996. On peut conclure qu'il s'agit d'un cadre très pratique pour aborder de nombreuses applications de la vision par ordinateur et de l'analyse d'images médicales. Les recherches sur diverses structures de données à niveaux multiples ont conduit à des implémentations très efficaces de cette méthode.

La méthode de marche rapide a été utilisée dans la segmentation d'images, et ce modèle a été amélioré (permettant des vitesses de propagation positives et négatives) dans une approche appelée méthode de marche rapide généralisée.

L'objectif des méthodes variationnelles est de trouver une segmentation optimale par rapport à une fonctionnelle énergétique spécifique. Les fonctionnelles se composent d'un terme d'ajustement des données et d'un terme de régularisation. Un représentant classique est le modèle de Potts défini pour une image par

Un minimiseur est une image constante par morceaux qui a un compromis optimal entre la distance L2 au carré de l'image donnée et la longueur totale de son ensemble de sauts. L'ensemble de sauts de définit une segmentation. Le poids relatif des énergies est réglé par le paramètre . La variante binaire du modèle de Potts, c'est-à-dire si la plage de est limitée à deux valeurs, est souvent appelée modèle de Chan - Vese . Une généralisation importante est le modèle de Mumford-Shah donné par $0\gamma >0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/775a6435e4270cddf2cd7dcb486c20f7f4bb8cee">

La valeur fonctionnelle est la somme de la longueur totale de la courbe de segmentation , de la régularité de l'approximation et de sa distance à l'image d'origine . Le poids de la pénalité de régularité est ajusté par . Le modèle de Potts est souvent appelé modèle de Mumford-Shah à constantes par morceaux car il peut être considéré comme le cas dégénéré . Les problèmes d'optimisation sont connus pour être NP-difficiles en général, mais les stratégies de quasi-minimisation fonctionnent bien en pratique. Les algorithmes classiques sont la non-convexité graduée et l'approximation d'Ambrosio-Tortorelli . $0\mu >0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/67319256f71b2ecddcb2a1f2a58bef0494135e62">

Les méthodes de partitionnement de graphe sont des outils efficaces pour la segmentation d'images car elles modélisent l'impact des voisinages de pixels sur un groupe donné de pixels ou de pixels, sous l'hypothèse d'homogénéité des images. Dans ces méthodes, l'image est modélisée comme un graphe pondéré et non orienté . Habituellement, un pixel ou un groupe de pixels est associé à des nœuds et les poids des arêtes définissent la (dis)similarité entre les pixels de voisinage. Le graphe (image) est ensuite partitionné selon un critère conçu pour modéliser les « bons » clusters. Chaque partition des nœuds (pixels) issus de ces algorithmes est considérée comme un segment d'objet dans l'image ; voir Catégorisation d'objets basée sur la segmentation . Certains algorithmes populaires de cette catégorie sont les coupes normalisées, le marcheur aléatoire , la coupe minimale, le partitionnement isopérimétrique, la segmentation basée sur l'arbre couvrant minimal , et la catégorisation d'objets basée sur la segmentation .

L'application des champs aléatoires de Markov (MRF) aux images a été suggérée au début de 1984 par Geman et Geman. Leur solide fondement mathématique et leur capacité à fournir un optimum global même lorsqu'il est défini sur des caractéristiques locales se sont avérés être la base de nouvelles recherches dans le domaine de l'analyse d'images, de la débruitisation et de la segmentation. Les MRF sont complètement caractérisés par leurs distributions de probabilité a priori, leurs distributions de probabilité marginale, leurs cliques , leur contrainte de lissage ainsi que par leur critère de mise à jour des valeurs. Le critère de segmentation d'image utilisant les MRF est reformulé comme la recherche du schéma d'étiquetage qui a la probabilité maximale pour un ensemble donné de caractéristiques. Les grandes catégories de segmentation d'image utilisant les MRF sont la segmentation supervisée et non supervisée.

En termes de segmentation d'image, la fonction que les MRF cherchent à maximiser est la probabilité d'identifier un schéma d'étiquetage étant donné qu'un ensemble particulier de caractéristiques est détecté dans l'image. Il s'agit d'une reformulation de la méthode d'estimation a posteriori maximale .

L'algorithme générique pour la segmentation d'images utilisant MAP est donné ci-dessous :

Chaque algorithme d'optimisation est une adaptation de modèles issus de domaines variés et se distingue par ses fonctions de coût uniques. Le trait commun des fonctions de coût est de pénaliser les changements de valeur de pixel ainsi que la différence d'étiquette de pixel par rapport aux étiquettes de pixels voisins.

L' algorithme des modes conditionnels itérés (ICM) tente de reconstruire le schéma d'étiquetage idéal en modifiant les valeurs de chaque pixel à chaque itération et en évaluant l'énergie du nouveau schéma d'étiquetage à l'aide de la fonction de coût donnée ci-dessous,

où α est la pénalité pour le changement d'étiquette du pixel et β est la pénalité pour la différence d'étiquette entre les pixels voisins et le pixel choisi. Voici le voisinage du pixel i et δ est la fonction delta de Kronecker. Un problème majeur avec l'ICM est que, comme la descente de gradient, elle a tendance à se reposer sur des maxima locaux et donc à ne pas obtenir un schéma d'étiquetage optimal à l'échelle mondiale.

Dérivé comme un analogue du recuit en métallurgie, le recuit simulé (SA) utilise le changement d'étiquette de pixel au fil des itérations et estime la différence d'énergie de chaque graphe nouvellement formé par rapport aux données initiales. Si le graphe nouvellement formé est plus rentable, en termes de faible coût énergétique, donné par :

0{ ext{ and }}\delta

L'algorithme sélectionne le graphe nouvellement formé. Le recuit simulé nécessite la saisie de programmes de température qui affectent directement la vitesse de convergence du système, ainsi que le seuil d'énergie pour que la minimisation se produise.

Il existe une gamme d'autres méthodes permettant de résoudre les MRF simples et d'ordre supérieur. Elles comprennent la maximisation de la marge postérieure, l'estimation MAP multi-échelle, la segmentation à résolution multiple et bien d'autres. Outre les estimations de vraisemblance, il existe des méthodes basées sur la découpe de graphe à l'aide du flux maximal et d'autres méthodes basées sur des graphes hautement contraints pour résoudre les MRF.

L' algorithme d'espérance-maximisation est utilisé pour estimer de manière itérative les probabilités et les distributions a posteriori de l'étiquetage lorsqu'aucune donnée d'apprentissage n'est disponible et qu'aucune estimation du modèle de segmentation ne peut être formée. Une approche générale consiste à utiliser des histogrammes pour représenter les caractéristiques d'une image et à procéder comme indiqué brièvement dans cet algorithme en trois étapes :

1. Une estimation aléatoire des paramètres du modèle est utilisée.

2. Etape E : Estimez les statistiques de classe en fonction du modèle de segmentation aléatoire défini. À l'aide de ces données, calculez la probabilité conditionnelle d'appartenir à une étiquette étant donné que l'ensemble de caractéristiques est calculé à l'aide du théorème naïf de Bayes .

Ici , l'ensemble de toutes les étiquettes possibles.

3. Étape M : La pertinence établie d'un ensemble de caractéristiques donné par rapport à un schéma d'étiquetage est maintenant utilisée pour calculer l'estimation a priori d'un libellé donné dans la deuxième partie de l'algorithme. Étant donné que le nombre total réel de libellés est inconnu (à partir d'un ensemble de données d'apprentissage), une estimation cachée du nombre de libellés donné par l'utilisateur est utilisée dans les calculs.

où est l'ensemble de toutes les fonctionnalités possibles.

1. Les estimations exactes de MAP ne peuvent pas être facilement calculées.
2. Les estimations MAP approximatives sont coûteuses en termes de calcul.
3. L’extension à l’étiquetage multi-classes dégrade les performances et augmente le stockage requis.
4. Une estimation fiable des paramètres pour EM est nécessaire pour atteindre des optima globaux.
5. En fonction de la méthode d'optimisation, la segmentation peut être regroupée en minima locaux.

La transformation de bassin versant considère la magnitude du gradient d'une image comme une surface topographique. Les pixels ayant les intensités de magnitude du gradient (GMI) les plus élevées correspondent aux lignes de partage des eaux, qui représentent les limites de la région. L'eau placée sur n'importe quel pixel délimité par une ligne de partage des eaux commune s'écoule vers le bas jusqu'à un minimum d'intensité local commun (LIM). Les pixels s'écoulant vers un minimum commun forment un bassin versant, qui représente un segment.

L'hypothèse centrale des approches basées sur des modèles est que les structures d'intérêt ont une tendance vers une forme particulière. Par conséquent, on peut rechercher un modèle probabiliste qui caractérise la forme et sa variation. Lors de la segmentation d'une image, des contraintes peuvent être imposées en utilisant ce modèle comme préalable. Une telle tâche peut impliquer (i) l'enregistrement des exemples d'apprentissage dans une pose commune, (ii) une représentation probabiliste de la variation des échantillons enregistrés et (iii) une inférence statistique entre le modèle et l'image. D'autres méthodes importantes dans la littérature pour la segmentation basée sur des modèles incluent les modèles de forme actifs et les modèles d'apparence actifs .

Les segmentations d'images sont calculées à plusieurs échelles dans l'espace d'échelle et parfois propagées des échelles grossières aux échelles fines ; voir segmentation de l'espace d'échelle .

Les critères de segmentation peuvent être arbitrairement complexes et prendre en compte des critères globaux et locaux. Une exigence courante est que chaque région doit être connectée d'une manière ou d'une autre.

Les travaux fondamentaux de Witkin dans l'espace d'échelle incluaient l'idée qu'un signal unidimensionnel pouvait être segmenté sans ambiguïté en régions, avec un paramètre d'échelle contrôlant l'échelle de segmentation.

Une observation clé est que les passages à zéro des dérivées secondes (minima et maxima de la première dérivée ou pente) des versions lissées à plusieurs échelles d'un signal forment un arbre d'imbrication, qui définit les relations hiérarchiques entre les segments à différentes échelles. Plus précisément, les extrema de pente à des échelles grossières peuvent être retracés jusqu'aux caractéristiques correspondantes à des échelles fines. Lorsqu'un maximum et un minimum de pente s'annihilent mutuellement à une échelle plus grande, les trois segments qu'ils séparaient fusionnent en un seul segment, définissant ainsi la hiérarchie des segments.

De nombreux travaux de recherche ont été réalisés dans ce domaine, dont certains ont désormais atteint un stade où ils peuvent être appliqués soit par une intervention manuelle interactive (généralement avec une application à l'imagerie médicale) soit de manière entièrement automatique. Voici un bref aperçu de certaines des principales idées de recherche sur lesquelles se basent les approches actuelles.

La structure d'imbrication décrite par Witkin est cependant spécifique aux signaux unidimensionnels et ne se transfère pas facilement aux images de plus haute dimension. Néanmoins, cette idée générale a inspiré plusieurs autres auteurs à étudier des schémas grossiers à fins pour la segmentation d'images. Koenderink a proposé d'étudier comment les contours d'iso-intensité évoluent sur les échelles et cette approche a été étudiée plus en détail par Lifshitz et Pizer . Malheureusement, l'intensité des caractéristiques de l'image change sur les échelles, ce qui implique qu'il est difficile de retracer les caractéristiques d'image à échelle grossière vers des échelles plus fines en utilisant des informations d'iso-intensité.

Lindeberg a étudié le problème de la liaison des extrema locaux et des points de selle sur les échelles, et a proposé une représentation d'image appelée esquisse primitive d'espace d'échelle qui rend explicite les relations entre les structures à différentes échelles, et rend également explicite les caractéristiques de l'image qui sont stables sur de grandes plages d'échelles, y compris les échelles localement appropriées pour celles-ci. Bergholm a proposé de détecter les bords à des échelles grossières dans l'espace d'échelle, puis de les remonter à des échelles plus fines avec un choix manuel à la fois de l'échelle de détection grossière et de l'échelle de localisation fine.

Gauch et Pizer ont étudié le problème complémentaire des crêtes et des vallées à plusieurs échelles et ont développé un outil de segmentation d'images interactives basé sur des bassins versants multi-échelles. L'utilisation de bassins versants multi-échelles avec application à la carte de gradient a également été étudiée par Olsen et Nielsen et a été transférée à l'utilisation clinique par Dam. Vincken et al. ont proposé une hyperpile pour définir des relations probabilistes entre des structures d'image à différentes échelles. L'utilisation de structures d'image stables sur plusieurs échelles a été poussée plus loin par Ahuja et ses collègues dans un système entièrement automatisé. Un algorithme de segmentation cérébrale entièrement automatique basé sur des idées étroitement liées de bassins versants multi-échelles a été présenté par Undeman et Lindeberg et a été largement testé dans des bases de données cérébrales.

Ces idées de segmentation d'images multi-échelles en reliant les structures d'image sur plusieurs échelles ont également été reprises par Florack et Kuijper. Bijaoui et Rué associent les structures détectées dans l'espace d'échelle au-dessus d'un seuil de bruit minimum dans un arbre d'objets qui couvre plusieurs échelles et correspond à un type de caractéristique dans le signal d'origine. Les caractéristiques extraites sont reconstruites avec précision à l'aide d'une méthode de matrice de gradient conjugué itératif.

Dans un type de segmentation, l'utilisateur délimite la région d'intérêt avec les clics de souris et des algorithmes sont appliqués pour que le chemin qui correspond le mieux au bord de l'image soit affiché.

Des techniques telles que SIOX , Livewire , Intelligent Scissors ou IT-SNAPS sont utilisées dans ce type de segmentation. Dans un autre type de segmentation semi-automatique, les algorithmes renvoient un taxon spatial (c'est-à-dire premier plan, groupe d'objets, objet ou partie d'objet) sélectionné par l'utilisateur ou désigné via des probabilités antérieures.

La plupart des méthodes de segmentation mentionnées ci-dessus se basent uniquement sur les informations de couleur des pixels de l'image. Les humains utilisent beaucoup plus de connaissances pour effectuer la segmentation d'images, mais la mise en œuvre de ces connaissances nécessiterait un temps de calcul et d'ingénierie humaine considérable, et nécessiterait une énorme base de données de connaissances du domaine qui n'existe pas actuellement. Les méthodes de segmentation pouvant être formées, telles que la segmentation par réseau neuronal , surmontent ces problèmes en modélisant les connaissances du domaine à partir d'un ensemble de données de pixels étiquetés.

Un réseau neuronal de segmentation d'image peut traiter de petites zones d'une image pour en extraire des caractéristiques simples telles que les contours. Un autre réseau neuronal, ou tout autre mécanisme de prise de décision, peut ensuite combiner ces caractéristiques pour étiqueter les zones d'une image en conséquence. Un type de réseau conçu de cette manière est la carte de Kohonen .

Les réseaux neuronaux à couplage d'impulsions (PCNN) sont des modèles neuronaux proposés en modélisant le cortex visuel d'un chat et développés pour le traitement d'images biomimétiques à hautes performances . En 1989, Reinhard Eckhorn a introduit un modèle neuronal pour émuler le mécanisme du cortex visuel d'un chat. Le modèle Eckhorn a fourni un outil simple et efficace pour étudier le cortex visuel des petits mammifères, et a rapidement été reconnu comme ayant un potentiel d'application important dans le traitement d'images. En 1994, le modèle Eckhorn a été adapté pour être un algorithme de traitement d'images par John L. Johnson, qui a appelé cet algorithme Pulse-Coupled Neural Network. Au cours de la dernière décennie, les PCNN ont été utilisés pour une variété d'applications de traitement d'images, notamment : la segmentation d'images, la génération de caractéristiques, l'extraction de visages, la détection de mouvement, la croissance de régions, la réduction du bruit, etc. Un PCNN est un réseau neuronal bidimensionnel. Chaque neurone du réseau correspond à un pixel dans une image d'entrée, recevant les informations de couleur de son pixel correspondant (par exemple l'intensité) comme stimulus externe. Chaque neurone se connecte également à ses neurones voisins, recevant des stimuli locaux de leur part. Les stimuli externes et locaux sont combinés dans un système d'activation interne, qui accumule les stimuli jusqu'à ce qu'ils dépassent un seuil dynamique, ce qui produit une sortie d'impulsion. Grâce au calcul itératif, les neurones PCNN produisent une série temporelle de sorties d'impulsion. La série temporelle de sorties d'impulsion contient des informations sur les images d'entrée et peut être utilisée pour diverses applications de traitement d'images, telles que la segmentation d'images et la génération de caractéristiques. Par rapport aux moyens de traitement d'images conventionnels, les PCNN présentent plusieurs avantages importants, notamment la robustesse face au bruit, l'indépendance des variations géométriques dans les modèles d'entrée, la capacité de combler les variations d'intensité mineures dans les modèles d'entrée, etc.

U-Net est un réseau neuronal convolutionnel qui prend en entrée une image et génère une étiquette pour chaque pixel. U-Net a été initialement développé pour détecter les limites cellulaires dans les images biomédicales. U-Net suit une architecture d'autoencodeur classique , en tant que tel, il contient deux sous-structures. La structure de l'encodeur suit la pile traditionnelle de couches de convolution et de pooling maximal pour augmenter le champ réceptif à mesure qu'il traverse les couches. Il est utilisé pour capturer le contexte dans l'image. La structure du décodeur utilise des couches de convolution transposées pour le suréchantillonnage afin que les dimensions finales soient proches de celles de l'image d'entrée. Des connexions de saut sont placées entre les couches de convolution et de convolution transposée de la même forme afin de préserver les détails qui auraient été perdus autrement.

En plus des tâches de segmentation sémantique au niveau du pixel qui attribuent une catégorie donnée à chaque pixel, les applications de segmentation modernes incluent des tâches de segmentation sémantique au niveau de l'instance dans lesquelles chaque individu d'une catégorie donnée doit être identifié de manière unique, ainsi que des tâches de segmentation panoptique qui combinent ces deux tâches pour fournir une segmentation de scène plus complète.

Les images liées telles qu'un album photo ou une séquence d'images vidéo contiennent souvent des objets et des scènes sémantiquement similaires, il est donc souvent bénéfique d'exploiter de telles corrélations. La tâche de segmentation simultanée de scènes à partir d'images ou d'images vidéo liées est appelée co-segmentation , qui est généralement utilisée dans la localisation d'actions humaines . Contrairement à la détection d'objets basée sur un cadre de délimitation conventionnel , les méthodes de localisation d'actions humaines fournissent des résultats plus précis, généralement des masques de segmentation par image délimitant l'objet humain d'intérêt et sa catégorie d'action (par exemple, Segment-Tube ). Des techniques telles que les réseaux de Markov dynamiques , CNN et LSTM sont souvent utilisées pour exploiter les corrélations inter-images.

Il existe de nombreuses autres méthodes de segmentation telles que la segmentation multispectrale ou la segmentation basée sur la connectivité basée sur des images DTI .