Estimation du mouvement

En vision par ordinateur et en traitement d'images , l'estimation du mouvement est le processus de détermination des vecteurs de mouvement qui décrivent la transformation d'une image 2D en une autre ; généralement à partir d'images adjacentes dans une séquence vidéo. Il s'agit d'un problème mal posé car le mouvement se produit en trois dimensions (3D) mais les images sont une projection de la scène 3D sur un plan 2D. Les vecteurs de mouvement peuvent concerner l'image entière ( estimation du mouvement global ) ou des parties spécifiques, telles que des blocs rectangulaires, des zones de forme arbitraire ou même par pixel . Les vecteurs de mouvement peuvent être représentés par un modèle de translation ou de nombreux autres modèles qui peuvent approximer le mouvement d'une caméra vidéo réelle, tels que la rotation et la translation dans les trois dimensions et le zoom.

Le plus souvent, le terme estimation de mouvement et le terme flux optique sont utilisés de manière interchangeable. Il est également lié conceptuellement à l'enregistrement d'image et à la correspondance stéréo . En fait, tous ces termes font référence au processus de recherche de points correspondants entre deux images ou trames vidéo. Les points qui correspondent entre eux dans deux vues (images ou trames) d'une scène ou d'un objet réel sont « généralement » le même point dans cette scène ou sur cet objet. Avant de procéder à l'estimation du mouvement, nous devons définir notre mesure de correspondance, c'est-à-dire la métrique de correspondance, qui est une mesure de la similarité de deux points d'image. Il n'y a pas de bon ou de mauvais choix ici ; le choix de la métrique de correspondance est généralement lié à l'utilisation du mouvement estimé final ainsi qu'à la stratégie d'optimisation dans le processus d'estimation.

Chaque vecteur de mouvement est utilisé pour représenter un macrobloc dans une image en fonction de la position de ce macrobloc (ou d'un similaire) dans une autre image, appelée image de référence.

La norme H.264/MPEG-4 AVC définit le vecteur de mouvement comme :

vecteur de mouvement : un vecteur bidimensionnel utilisé pour la prédiction inter qui fournit un décalage entre les coordonnées de l'image décodée et les coordonnées d'une image de référence.

Les méthodes de recherche de vecteurs de mouvement peuvent être classées en méthodes basées sur les pixels (« directes ») et en méthodes basées sur les caractéristiques (« indirectes »). Un célèbre débat a donné lieu à la production de deux articles des factions opposées pour tenter d'établir une conclusion.

• Algorithme de correspondance de blocs
• Méthodes de corrélation de phase et de domaine fréquentiel
• Algorithmes récursifs de pixels
• Flux optique

Les méthodes indirectes utilisent des fonctionnalités, telles que la détection des coins , et font correspondre les fonctionnalités correspondantes entre les images, généralement avec une fonction statistique appliquée sur une zone locale ou globale. Le but de la fonction statistique est de supprimer les correspondances qui ne correspondent pas au mouvement réel.

Les fonctions statistiques qui ont été utilisées avec succès incluent RANSAC .

On peut affirmer que presque toutes les méthodes nécessitent une certaine définition des critères de correspondance. La seule différence réside dans le fait que vous résumiez d'abord une région d'image locale, puis que vous compariez la résumation (comme les méthodes basées sur les caractéristiques), ou que vous compariez d'abord chaque pixel (comme la mise au carré de la différence), puis que vous résumiez une région d'image locale (mouvement basé sur le bloc et mouvement basé sur le filtre). Un type émergent de critères de correspondance résume d'abord une région d'image locale pour chaque emplacement de pixel (par une transformation de caractéristiques telle que la transformation laplacienne), compare chaque pixel résumé et résumait à nouveau une région d'image locale. Certains critères de correspondance ont la capacité d'exclure des points qui ne correspondent pas réellement les uns aux autres, bien que produisant un bon score de correspondance, d'autres n'ont pas cette capacité, mais ils sont toujours des critères de correspondance.

L'estimation du mouvement affine est une technique utilisée en vision par ordinateur et en traitement d'images pour estimer le mouvement entre deux images ou trames. Elle suppose que le mouvement peut être modélisé comme une transformation affine (translation + rotation + zoom), qui est une transformation linéaire suivie d'une translation.

L'application des vecteurs de mouvement à une image pour synthétiser la transformation vers l'image suivante est appelée compensation de mouvement . Elle s'applique plus facilement aux normes de codage vidéo basées sur la transformée en cosinus discrète (DCT) , car le codage est effectué en blocs.

Pour exploiter la redondance temporelle, l'estimation et la compensation de mouvement sont des éléments clés de la compression vidéo . Presque toutes les normes de codage vidéo utilisent l'estimation et la compensation de mouvement par blocs, comme la série MPEG , y compris la plus récente HEVC .

Dans la localisation et la cartographie simultanées , un modèle 3D d'une scène est reconstruit à l'aide d'images provenant d'une caméra en mouvement.