Tenseur de structure

En mathématiques, le tenseur de structure , également appelé matrice du second moment , est une matrice dérivée du gradient d'une fonction . Il décrit la distribution du gradient dans un voisinage spécifié autour d'un point et rend l'information invariante par rapport aux coordonnées d'observation. Le tenseur de structure est souvent utilisé dans le traitement d'images et la vision par ordinateur .

Pour une fonction de deux variables p = ( x , y ) , le tenseur de structure est la matrice 2×2

x et y ; les intégrales s'étendent sur le plan ; et w est une « fonction de fenêtre » fixe (comme un flou gaussien ), une distribution sur deux variables. Notez que la matrice est elle-même une fonction de p = ( x , y ) .

La formule ci-dessus peut également être écrite comme , où est la fonction matricielle définie par

Si le gradient de est considéré comme une matrice 2×1 (à une seule colonne), où désigne une opération de transposition , transformant un vecteur ligne en vecteur colonne, la matrice peut être écrite comme le produit matriciel ou le tenseur ou le produit extérieur . Notez cependant que le tenseur de structure ne peut pas être factorisé de cette manière en général, sauf si est une fonction delta de Dirac .

Dans le traitement d'images et d'autres applications similaires, la fonction est généralement donnée sous la forme d'un tableau discret d'échantillons , où p est une paire d'indices entiers. Le tenseur de structure 2D à un pixel donné est généralement considéré comme la somme discrète

Ici, l'indice de sommation r s'étend sur un ensemble fini de paires d'indices (la « fenêtre », généralement pour un certain m ), et w [ r ] est un « poids de fenêtre » fixe qui dépend de r , tel que la somme de tous les poids soit 1. Les valeurs sont les dérivées partielles échantillonnées au pixel p ; qui, par exemple, peuvent être estimées à partir de formules aux différences finies .

La formule du tenseur de structure peut également s'écrire comme , où est le tableau à valeurs matricielles tel que

L'importance du tenseur de structure 2D vient du fait que les valeurs propres (qui peuvent être ordonnées de telle sorte que ) et les vecteurs propres correspondants résument la distribution du gradient de dans la fenêtre définie par centrée à .

Autrement dit, si , alors (ou ) est la direction qui est alignée au maximum avec le gradient dans la fenêtre. $\backslash lambda\; \_\{2{\lambda }_1>{\lambda }_2$ lambda _ {2}}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/3dc9ff31d5f3eff2381c8822914675d766c09771">

En particulier, si alors le gradient est toujours un multiple de (positif, négatif ou nul) ; c'est le cas si et seulement si dans la fenêtre varie selon la direction mais est constant selon . Cette condition de valeurs propres est aussi appelée condition de symétrie linéaire car alors les iso-courbes de sont constituées de droites parallèles, c'est-à-dire qu'il existe une fonction unidimensionnelle qui peut engendrer la fonction bidimensionnelle comme pour un vecteur constant et les coordonnées . $0,\backslash lambda\; \_\{2\}=0{\lambda }_1>0,{\lambda }_2=0$ 0, lambda _ {2} = 0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/256c370a8908a68f6a3babd5b799c62aa43e31ff">

Si , en revanche, le gradient dans la fenêtre n'a pas de direction prédominante ; ce qui se produit, par exemple, lorsque l'image présente une symétrie de rotation dans cette fenêtre. Cette condition de valeurs propres est également appelée corps équilibré, ou condition d'équilibre directionnel, car elle est vérifiée lorsque toutes les directions de gradient dans la fenêtre sont également fréquentes/probables.

De plus, la condition se produit si et seulement si la fonction est constante ( ) dans .

Plus généralement, la valeur de , pour k =1 ou k =2, est la moyenne pondérée, au voisinage de p , du carré de la dérivée directionnelle de le long de . L'écart relatif entre les deux valeurs propres de est un indicateur du degré d' anisotropie du gradient dans la fenêtre, à savoir à quel point il est fortement biaisé vers une direction particulière (et son opposé). Cet attribut peut être quantifié par la cohérence , définie comme

si . Cette quantité vaut 1 lorsque le gradient est totalement aligné, et 0 lorsqu'il n'a pas de direction privilégiée. La formule est indéfinie, même dans la limite , lorsque l'image est constante dans la fenêtre ( ). Certains auteurs la définissent comme 0 dans ce cas. $0{\lambda }_2>0$ 0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/5a89c384161e053f00b47e055c0e9bfeef188d42">

Notez que la moyenne du gradient à l'intérieur de la fenêtre n'est pas un bon indicateur d'anisotropie. Des vecteurs de gradient alignés mais orientés de manière opposée s'annuleraient dans cette moyenne, alors que dans le tenseur de structure, ils sont correctement additionnés. C'est une des raisons pour lesquelles est utilisé dans le calcul de la moyenne du tenseur de structure pour optimiser la direction au lieu de .

En élargissant le rayon effectif de la fonction de fenêtre (c'est-à-dire en augmentant sa variance), on peut rendre le tenseur de structure plus robuste face au bruit, au prix d'une résolution spatiale diminuée. La ​​base formelle de cette propriété est décrite plus en détail ci-dessous, où il est démontré qu'une formulation multi-échelle du tenseur de structure, appelée tenseur de structure multi-échelle, constitue une véritable représentation multi-échelle des données directionnelles sous des variations de l'étendue spatiale de la fonction de fenêtre .

L'interprétation et la mise en œuvre du tenseur de structure 2D deviennent particulièrement accessibles à l'aide de nombres complexes . Le tenseur de structure est constitué de 3 nombres réels

où , et dans laquelle les intégrales peuvent être remplacées par des sommes pour une représentation discrète. En utilisant l'identité de Parseval, il est clair que les trois nombres réels sont les moments du second ordre du spectre de puissance de . Le moment complexe du second ordre suivant du spectre de puissance de peut alors s'écrire comme

où et est l'angle de direction du vecteur propre le plus significatif du tenseur de structure tandis que et sont les valeurs propres les plus et les moins significatives. Il en résulte que contient à la fois une certitude et la direction optimale dans la représentation à double angle puisqu'il s'agit d'un nombre complexe constitué de deux nombres réels. Il en résulte également que si le gradient est représenté comme un nombre complexe et est remappé par mise au carré (c'est-à-dire que les angles d'argument du gradient complexe sont doublés), alors le moyennage agit comme un optimiseur dans le domaine mappé, car il fournit directement à la fois la direction optimale (dans la représentation à double angle) et la certitude associée. Le nombre complexe représente ainsi la quantité de structure linéaire (symétrie linéaire) présente dans l'image , et le nombre complexe est obtenu directement en faisant la moyenne du gradient dans sa représentation à double angle (complexe) sans calculer explicitement les valeurs propres et les vecteurs propres.

De même, le moment complexe du second ordre suivant du spectre de puissance de , qui se trouve être toujours réel car est réel,

peut être obtenu, avec et étant les valeurs propres comme précédemment. Notez que cette fois, la grandeur du gradient complexe est au carré (ce qui est toujours réel).

Cependant, la décomposition du tenseur de structure en ses vecteurs propres donne ses composantes tensorielles comme

où est la matrice identité en 2D car les deux vecteurs propres sont toujours orthogonaux (et leur somme est égale à un). Le premier terme de la dernière expression de la décomposition, , représente la composante de symétrie linéaire du tenseur de structure contenant toutes les informations directionnelles (en tant que matrice de rang 1), tandis que le second terme représente la composante de corps équilibré du tenseur, qui ne contient aucune information directionnelle (contenant une matrice identité ). Connaître la quantité d'informations directionnelles contenues dans revient alors à vérifier la taille de par rapport à .

De toute évidence, est l'équivalent complexe du premier terme dans la décomposition tensorielle, tandis que est l'équivalent du second terme. Ainsi, les deux scalaires, comprenant trois nombres réels,

L'élégance de la représentation complexe vient du fait que les deux composantes du tenseur de structure peuvent être obtenues comme moyennes et indépendamment. Cela signifie à son tour que et peuvent être utilisés dans une représentation d'espace d'échelle pour décrire la preuve de la présence d'une orientation unique et la preuve de l'hypothèse alternative, la présence de multiples orientations équilibrées, sans calculer les vecteurs propres et les valeurs propres. Une fonctionnelle, telle que la mise au carré des nombres complexes, n'a jusqu'à présent pas été démontrée pour les tenseurs de structure de dimensions supérieures à deux. Dans Bigun 91, il a été avancé avec un argument approprié que cela est dû au fait que les nombres complexes sont des algèbres commutatives alors que les quaternions, le candidat possible pour construire une telle fonctionnelle par, constituent une algèbre non commutative.

La représentation complexe du tenseur de structure est fréquemment utilisée dans l'analyse des empreintes digitales pour obtenir des cartes de direction contenant des certitudes qui sont à leur tour utilisées pour les améliorer, pour trouver les emplacements des singularités globales (noyaux et deltas) et locales (minuties), ainsi que pour évaluer automatiquement la qualité des empreintes digitales.

Le tenseur de structure peut être défini également pour une fonction de trois variables p =( x , y , z ) de manière tout à fait analogue. A savoir, dans la version continue on a , où où sont les trois dérivées partielles de , et les intégrales s'étendent sur .

Dans la version discrète, , où et la somme s'étend sur un ensemble fini d'indices 3D, généralement pour un certain m .

Comme dans le cas bidimensionnel, les valeurs propres de , et les vecteurs propres correspondants , résument la distribution des directions de gradient dans le voisinage de p défini par la fenêtre . Ces informations peuvent être visualisées comme un ellipsoïde dont les demi-axes sont égaux aux valeurs propres et dirigés le long de leurs vecteurs propres correspondants.

En particulier, si l'ellipsoïde est étiré le long d'un seul axe, comme un cigare (c'est-à-dire si est beaucoup plus grand que et ), cela signifie que le gradient dans la fenêtre est principalement aligné avec la direction , de sorte que les isosurfaces de ont tendance à être plates et perpendiculaires à ce vecteur. Cette situation se produit, par exemple, lorsque p se trouve sur une structure en forme de plaque mince, ou sur la frontière lisse entre deux régions aux valeurs contrastées.

Si l'ellipsoïde est aplati dans une seule direction, comme une crêpe (c'est-à-dire si est beaucoup plus petit que et ), cela signifie que les directions du gradient sont étalées mais perpendiculaires à ; de sorte que les isosurfaces ont tendance à être comme des tubes parallèles à ce vecteur. Cette situation se produit, par exemple, lorsque p se trouve sur une entité en forme de ligne fine, ou sur un angle aigu de la frontière entre deux régions aux valeurs contrastées.

Enfin, si l'ellipsoïde est grossièrement sphérique (c'est-à-dire si ), cela signifie que les directions du gradient dans la fenêtre sont plus ou moins uniformément distribuées, sans préférence marquée ; de sorte que la fonction est principalement isotrope dans ce voisinage. Cela se produit, par exemple, lorsque la fonction a une symétrie sphérique dans le voisinage de p . En particulier, si l'ellipsoïde dégénère en un point (c'est-à-dire si les trois valeurs propres sont nulles), cela signifie que est constant (a un gradient nul) dans la fenêtre.

Le tenseur de structure est un outil important dans l'analyse de l'espace d'échelle . Le tenseur de structure multi-échelle (ou matrice de second moment multi-échelle ) d'une fonction est, contrairement aux autres caractéristiques de l'espace d'échelle à un paramètre, un descripteur d'image défini sur deux paramètres d'échelle. Un paramètre d'échelle, appelé échelle locale , est nécessaire pour déterminer la quantité de pré-lissage lors du calcul du gradient d'image . Un autre paramètre d'échelle, appelé échelle d'intégration , est nécessaire pour spécifier l'étendue spatiale de la fonction de fenêtre qui détermine les poids de la région de l'espace sur laquelle les composantes du produit extérieur du gradient par lui-même sont accumulées.

Plus précisément, supposons que soit un signal à valeur réelle défini sur . Pour toute échelle locale , soit une représentation multi-échelle de ce signal donnée par où représente un noyau de pré-lissage. De plus, soit dénotons le gradient de la représentation de l'espace d'échelle . Alors, la matrice tenseur de structure multi-échelle/seconde moment est définie par Conceptuellement, on peut se demander s'il serait suffisant d'utiliser des familles auto-similaires de fonctions de lissage et . Cependant, si l'on appliquait naïvement, par exemple, un filtre de boîte, des artefacts indésirables pourraient facilement se produire. Si l'on veut que le tenseur de structure multi-échelle se comporte bien à la fois sur des échelles locales croissantes et sur des échelles d'intégration croissantes , alors on peut montrer que la fonction de lissage et la fonction de fenêtre doivent être gaussiennes. Les conditions qui spécifient cette unicité sont similaires aux axiomes d’échelle-espace qui sont utilisés pour dériver l’unicité du noyau gaussien pour un espace d’échelle gaussien régulier d’intensités d’image. $0t>0$0}" data-src="https://wikimedia.org/api/rest_v1/media/math/render/svg/29a2960e88369263fe3cfe00ccbfeb83daee212a">

Il existe différentes manières de gérer les variations d'échelle à deux paramètres dans cette famille de descripteurs d'image. Si nous gardons le paramètre d'échelle locale fixe et appliquons des versions de plus en plus élargies de la fonction fenêtre en augmentant uniquement le paramètre d'échelle d'intégration , nous obtenons alors une véritable représentation formelle de l'espace d'échelle des données directionnelles calculées à l'échelle locale donnée . Si nous couplons l'échelle locale et l'échelle d'intégration par une échelle d'intégration relative , de telle sorte que pour toute valeur fixe de , nous obtenons une variation à un paramètre auto-similaire réduite, qui est fréquemment utilisée pour simplifier les algorithmes de calcul, par exemple dans la détection des coins , la détection des points d'intérêt , l'analyse de texture et la mise en correspondance d'images . En faisant varier l'échelle d'intégration relative dans une telle variation d'échelle auto-similaire, nous obtenons une autre manière alternative de paramétrer la nature multi-échelle des données directionnelles obtenue en augmentant l'échelle d'intégration.

Une construction conceptuellement similaire peut être réalisée pour des signaux discrets, avec l'intégrale de convolution remplacée par une somme de convolution et avec le noyau gaussien continu remplacé par le noyau gaussien discret : Lors de la quantification des paramètres d'échelle et dans une mise en œuvre réelle, une progression géométrique finie est généralement utilisée, avec i allant de 0 à un indice d'échelle maximal m . Ainsi, les niveaux d'échelle discrets présenteront certaines similitudes avec la pyramide d'images , bien que le sous-échantillonnage spatial ne soit pas nécessairement utilisé afin de préserver des données plus précises pour les étapes de traitement ultérieures.

Les valeurs propres du tenseur de structure jouent un rôle important dans de nombreux algorithmes de traitement d'images, pour des problèmes tels que la détection des coins , la détection des points d'intérêt et le suivi des caractéristiques . Le tenseur de structure joue également un rôle central dans l' algorithme de flux optique Lucas-Kanade et dans ses extensions pour estimer l'adaptation de forme affine ; où la grandeur de est un indicateur de la fiabilité du résultat calculé. Le tenseur a été utilisé pour l'analyse de l'espace d'échelle , l'estimation de l'orientation de surface locale à partir de repères monoculaires ou binoculaires, l'amélioration non linéaire des empreintes digitales, le traitement d'images basé sur la diffusion , et plusieurs autres problèmes de traitement d'images. Le tenseur de structure peut également être appliqué en géologie pour filtrer les données sismiques .

Le tenseur de structure tridimensionnelle a été utilisé pour analyser des données vidéo tridimensionnelles (vues en fonction de x , y et du temps t ). Si l'on vise dans ce contexte des descripteurs d'images qui sont invariants sous des transformations galiléennes , pour permettre de comparer des mesures d'images qui ont été obtenues sous des variations de vitesses d'images a priori inconnues , il est cependant, d'un point de vue informatique, préférable de paramétrer les composantes de la matrice tenseur de structure/second moment en utilisant la notion de diagonalisation galiléenne où désigne une transformation galiléenne de l'espace-temps et une rotation bidimensionnelle sur le domaine spatial, par rapport à l'utilisation mentionnée ci-dessus de valeurs propres d'un tenseur de structure 3D, qui correspond à une décomposition des valeurs propres et une rotation tridimensionnelle (non physique) de l'espace-temps. Pour obtenir une véritable invariance galiléenne, cependant, la forme de la fonction de fenêtre spatio-temporelle doit également être adaptée, correspondant au transfert de l'adaptation de forme affine des données d'image spatiales aux données d'image spatio-temporelles. En combinaison avec des descripteurs d'histogrammes spatio-temporels locaux, ces concepts permettent ensemble une reconnaissance invariante galiléenne des événements spatio-temporels.