Suivi de pose

En réalité virtuelle (RV) et en réalité augmentée (RA), un système de suivi de pose détecte la pose précise des écrans montés sur la tête , des contrôleurs, d'autres objets ou des parties du corps dans l'espace euclidien . Le suivi de pose est souvent appelé suivi 6DOF, pour les six degrés de liberté dans lesquels la pose est souvent suivie.

Le suivi de pose est parfois appelé suivi de position, mais les deux sont distincts. Le suivi de pose est différent du suivi de position car le suivi de pose inclut l'orientation alors que le suivi de position ne l'inclut pas. Dans certains systèmes GPS grand public, des données d'orientation sont ajoutées en plus à l'aide de magnétomètres , qui donnent des informations d'orientation partielles, mais pas l'orientation complète fournie par le suivi de pose.

En réalité virtuelle, il est primordial que le suivi de pose soit à la fois précis et exact afin de ne pas briser l'illusion d'un être dans le monde virtuel. Plusieurs méthodes de suivi de la position et de l'orientation (tangage, lacet et roulis) de l'écran et de tous les objets ou dispositifs associés ont été développées pour y parvenir. De nombreuses méthodes utilisent des capteurs qui enregistrent de manière répétée les signaux des émetteurs situés sur ou à proximité des objets suivis, puis envoient ces données à l'ordinateur afin de maintenir une approximation de leurs emplacements physiques. Une méthode de suivi populaire est le suivi Lighthouse . En général, ces emplacements physiques sont identifiés et définis à l'aide d'un ou plusieurs des trois systèmes de coordonnées : le système rectiligne cartésien, le système polaire sphérique et le système cylindrique. De nombreuses interfaces ont également été conçues pour surveiller et contrôler les mouvements et les interactions d'une personne dans l'espace 3D virtuel ; ces interfaces doivent fonctionner en étroite collaboration avec les systèmes de suivi de position pour offrir une expérience utilisateur transparente.

Un autre type de suivi de pose utilisé plus souvent dans les systèmes plus récents est appelé suivi de l'intérieur vers l'extérieur, notamment la localisation et la cartographie simultanées (SLAM) ou l'odométrie visuo-inertielle (VIO). L' Oculus Quest 2 est un exemple d'appareil qui utilise le suivi de pose de l'intérieur vers l'extérieur .

Le suivi sans fil utilise un ensemble d'ancres placées autour du périmètre de l'espace de suivi et une ou plusieurs balises suivies. Ce système est similaire au concept du GPS, mais fonctionne aussi bien à l'intérieur qu'à l'extérieur. Parfois appelé GPS d'intérieur. Les balises triangulent leur position 3D à l'aide des ancres placées autour du périmètre. Une technologie sans fil appelée Ultra Wideband a permis au suivi de position d'atteindre une précision inférieure à 100 mm. En utilisant la fusion de capteurs et des algorithmes à grande vitesse, la précision du suivi peut atteindre 5 mm avec des vitesses de mise à jour de 200 Hz ou une latence de 5 ms .

Avantages :

• L’utilisateur bénéficie d’un mouvement sans contrainte
• Permet une plus grande amplitude de mouvement
• Fournit une localisation absolue au lieu d'une simple localisation relative

Inconvénients :

• Un faible taux d'échantillonnage peut diminuer la précision
• Faible taux de latence (définition) par rapport aux autres capteurs

Le suivi optique utilise des caméras placées sur ou autour du casque pour déterminer la position et l'orientation en fonction d'algorithmes de vision par ordinateur . Cette méthode est basée sur le même principe que la vision humaine stéréoscopique . Lorsqu'une personne regarde un objet en utilisant la vision binoculaire, elle est capable de définir approximativement à quelle distance l'objet est placé en raison de la différence de perspective entre les deux yeux. Dans le suivi optique, les caméras sont étalonnées pour déterminer la distance de l'objet et sa position dans l'espace. Les systèmes optiques sont fiables et relativement peu coûteux, mais ils peuvent être difficiles à étalonner. De plus, le système nécessite une ligne de lumière directe sans occlusions, sinon il recevra des données erronées.

Le suivi optique peut être effectué avec ou sans marqueurs. Le suivi avec marqueurs implique des cibles avec des motifs connus pour servir de points de référence, et les caméras recherchent constamment ces marqueurs puis utilisent divers algorithmes (par exemple, l'algorithme POSIT ) pour extraire la position de l'objet. Les marqueurs peuvent être visibles, tels que des codes QR imprimés , mais beaucoup utilisent une lumière infrarouge (IR) qui ne peut être captée que par les caméras. Les implémentations actives comportent des marqueurs avec des lumières LED IR intégrées qui peuvent s'allumer et s'éteindre pour se synchroniser avec la caméra, ce qui facilite le blocage des autres lumières IR dans la zone de suivi. Les implémentations passives sont des rétroréflecteurs qui réfléchissent la lumière IR vers la source avec peu de diffusion. Le suivi sans marqueur ne nécessite aucune cible pré-placée, mais utilise plutôt les caractéristiques naturelles de l'environnement environnant pour déterminer la position et l'orientation.

Dans cette méthode, les caméras sont placées à des endroits fixes dans l'environnement pour suivre la position des marqueurs sur l'appareil suivi, comme un casque ou des contrôleurs. Le fait d'avoir plusieurs caméras permet d'avoir des vues différentes des mêmes marqueurs, et ce chevauchement permet des lectures précises de la position de l'appareil. L' Oculus Rift original utilise cette technique, en plaçant une constellation de LED IR sur son casque et ses contrôleurs pour permettre aux caméras externes de l'environnement de lire leurs positions. Cette méthode est la plus mature, ayant des applications non seulement en VR mais aussi dans la technologie de capture de mouvement pour le cinéma. Cependant, cette solution est limitée en termes d'espace, nécessitant des capteurs externes en vue constante de l'appareil.

Avantages :

• Des relevés plus précis peuvent être améliorés en ajoutant plus de caméras
• Latence inférieure à celle du suivi de l'intérieur vers l'extérieur

Inconvénients :

• Occlusion, les caméras ont besoin d'une ligne de vue directe, sinon le suivi ne fonctionnera pas
• La nécessité de capteurs extérieurs signifie une zone de jeu limitée

Dans cette méthode, la caméra est placée sur l'appareil suivi et regarde vers l'extérieur pour déterminer sa position dans l'environnement. Les casques qui utilisent cette technologie ont plusieurs caméras orientées dans différentes directions pour obtenir des vues de tout son environnement. Cette méthode peut fonctionner avec ou sans marqueurs. Le système Lighthouse utilisé par le HTC Vive est un exemple de marqueurs actifs. Chaque module Lighthouse externe contient des LED IR ainsi qu'un réseau laser qui balaie dans les directions horizontale et verticale, et des capteurs sur le casque et les contrôleurs peuvent détecter ces balayages et utiliser les timings pour déterminer la position. Le suivi sans marqueur, comme sur l' Oculus Quest , ne nécessite rien de monté dans l'environnement extérieur. Il utilise des caméras sur le casque pour un processus appelé SLAM , ou localisation et cartographie simultanées, où une carte 3D de l'environnement est générée en temps réel. Les algorithmes d'apprentissage automatique déterminent ensuite où le casque est positionné dans cette carte 3D, en utilisant la détection de caractéristiques pour reconstruire et analyser son environnement. Cette technologie permet aux casques haut de gamme comme le Microsoft HoloLens d'être autonomes, mais elle ouvre également la porte à des casques mobiles moins chers sans avoir besoin de se connecter à des ordinateurs ou des capteurs externes.

Avantages :

• Permet des espaces de jeu plus grands, peut s'agrandir pour s'adapter à la pièce
• Adaptable à de nouveaux environnements

Inconvénients :

• Besoin de davantage de traitement à bord
• La latence peut être plus élevée

Le suivi inertiel utilise des données provenant d'accéléromètres et de gyroscopes , et parfois de magnétomètres . Les accéléromètres mesurent l'accélération linéaire. Étant donné que la dérivée de la position par rapport au temps est la vitesse et que la dérivée de la vitesse est l'accélération, la sortie de l'accéléromètre peut être intégrée pour trouver la vitesse, puis intégrée à nouveau pour trouver la position par rapport à un point initial. Les gyroscopes mesurent la vitesse angulaire . La vitesse angulaire peut également être intégrée pour déterminer la position angulaire par rapport au point initial. Les magnétomètres mesurent les champs magnétiques et les moments dipolaires magnétiques. La direction du champ magnétique terrestre peut être intégrée pour avoir une référence d'orientation absolue et pour compenser les dérives gyroscopiques. Les systèmes modernes d'unités de mesure inertielles (IMU) sont basés sur la technologie MEMS qui permet de suivre l'orientation (roulis, tangage, lacet) dans l'espace avec des taux de mise à jour élevés et une latence minimale. Les gyroscopes sont toujours utilisés pour le suivi rotationnel, mais différentes techniques sont utilisées pour le suivi positionnel en fonction de facteurs tels que le coût, la facilité de configuration et le volume de suivi.

Le calcul à l'estime est utilisé pour suivre les données de position, ce qui modifie l'environnement virtuel en mettant à jour les changements de mouvement de l'utilisateur. Le taux de mise à jour du calcul à l'estime et l'algorithme de prédiction utilisés dans un système de réalité virtuelle affectent l'expérience de l'utilisateur, mais il n'existe pas de consensus sur les meilleures pratiques car de nombreuses techniques différentes ont été utilisées. Il est difficile de se fier uniquement au suivi inertiel pour déterminer la position précise, car le calcul à l'estime entraîne une dérive, de sorte que ce type de suivi n'est pas utilisé de manière isolée dans la réalité virtuelle. Il a été constaté qu'un décalage entre le mouvement de l'utilisateur et l'affichage de la réalité virtuelle de plus de 100 ms provoque des nausées.

Les capteurs inertiels sont non seulement capables de suivre les mouvements de rotation (roulement, tangage, lacet), mais aussi les mouvements de translation. Ces deux types de mouvements sont connus ensemble sous le nom de six degrés de liberté . De nombreuses applications de réalité virtuelle doivent non seulement suivre les rotations de la tête des utilisateurs, mais aussi la façon dont leur corps se déplace avec eux (gauche/droite, avant/arrière, haut/bas). La capacité des six degrés de liberté n'est pas nécessaire pour toutes les expériences de réalité virtuelle, mais elle est utile lorsque l'utilisateur doit déplacer d'autres objets que sa tête.

Avantages :

• Peut suivre les mouvements rapides bien par rapport aux autres capteurs, et particulièrement bien lorsqu'il est combiné avec d'autres capteurs
• Capable de taux de mise à jour élevés

Inconvénients :

• Sujet à des erreurs qui s'accumulent rapidement en raison de la navigation à l'estime
• Tout retard ou erreur de calcul lors de la détermination de la position peut entraîner des symptômes chez l'utilisateur tels que des nausées ou des maux de tête
• Il se peut que vous ne puissiez pas suivre un utilisateur qui se déplace trop vite
• Les capteurs inertiels ne peuvent généralement être utilisés que dans des environnements intérieurs et de laboratoire, les applications extérieures sont donc limitées

La fusion de capteurs combine les données de plusieurs algorithmes de suivi et peut produire de meilleurs résultats qu'une seule technologie. L'une des variantes de la fusion de capteurs consiste à fusionner le suivi inertiel et optique. Ces deux techniques sont souvent utilisées ensemble car si les capteurs inertiels sont optimaux pour suivre les mouvements rapides, ils accumulent également rapidement les erreurs, et les capteurs optiques offrent des références absolues pour compenser les faiblesses inertielles. De plus, le suivi inertiel peut compenser certaines lacunes du suivi optique. Par exemple, le suivi optique peut être la principale méthode de suivi, mais lorsqu'une occlusion se produit, le suivi inertiel estime la position jusqu'à ce que les objets soient à nouveau visibles par la caméra optique. Le suivi inertiel pourrait également générer des données de position entre les données de position du suivi optique, car le suivi inertiel a un taux de mise à jour plus élevé . Le suivi optique permet également de faire face à une dérive du suivi inertiel. La combinaison du suivi optique et inertiel s'est avérée réduire les erreurs de désalignement qui se produisent généralement lorsqu'un utilisateur bouge la tête trop rapidement. Les progrès des systèmes magnétiques microélectriques ont rendu le suivi magnétique/électrique plus courant en raison de leur petite taille et de leur faible coût.

Les systèmes de suivi acoustique utilisent des techniques permettant d'identifier la position d'un objet ou d'un appareil similaires à celles que l'on trouve naturellement chez les animaux qui utilisent l'écholocation . De manière analogue aux chauves-souris localisant des objets en utilisant les différences de temps de retour des ondes sonores vers leurs deux oreilles, les systèmes de suivi acoustique en réalité virtuelle peuvent utiliser des ensembles d'au moins trois capteurs à ultrasons et d'au moins trois émetteurs à ultrasons sur des appareils afin de calculer la position et l'orientation d'un objet (par exemple un contrôleur portable). Il existe deux façons de déterminer la position de l'objet : mesurer le temps de vol de l'onde sonore de l' émetteur aux récepteurs ou la cohérence de phase de l'onde sonore sinusoïdale en recevant le transfert.

Étant donné un ensemble de trois capteurs (ou récepteurs) non colinéaires avec des distances entre eux d ₁ et d ₂ , ainsi que les temps de trajet d'une onde sonore ultrasonore (une onde de fréquence supérieure à 20 kHz) d'un émetteur à ces trois récepteurs, la position cartésienne relative de l'émetteur peut être calculée comme suit :

Ici, chaque l _i représente la distance entre l'émetteur et chacun des trois récepteurs, calculée en fonction du temps de parcours de l'onde ultrasonore à l'aide de l'équation l = ct _us . La constante c désigne la vitesse du son, qui est égale à 343,2 m/s dans l'air sec à une température de 20 °C. Étant donné qu'au moins trois récepteurs sont nécessaires, ces calculs sont communément appelés triangulation .

Au-delà de sa position, la détermination de l'orientation d'un dispositif (c'est-à-dire son degré de rotation dans toutes les directions) nécessite de connaître au moins trois points non colinéaires sur l'objet suivi, ce qui impose que le nombre d'émetteurs ultrasoniques soit d'au moins trois par dispositif suivi en plus des trois récepteurs susmentionnés. Les émetteurs émettent des ondes ultrasoniques en séquence vers les trois récepteurs, qui peuvent ensuite être utilisées pour dériver des données spatiales sur les trois émetteurs en utilisant les méthodes décrites ci-dessus. L'orientation de l'appareil peut alors être dérivée sur la base du positionnement connu des émetteurs sur l'appareil et de leurs emplacements spatiaux les uns par rapport aux autres.

Contrairement aux méthodes TOF, les méthodes de suivi à cohérence de phase (PC) ont également été utilisées pour localiser un objet par voie acoustique. Le suivi PC consiste à comparer la phase de l'onde sonore actuelle reçue par les capteurs à celle d'un signal de référence antérieur, de sorte que l'on puisse déterminer le changement relatif de position des émetteurs par rapport à la dernière mesure. Étant donné que cette méthode ne fonctionne que sur les changements observés dans les valeurs de position, et non sur des mesures absolues, les erreurs de mesure ont tendance à s'accumuler au fil des observations. Par conséquent, cette méthode a perdu de sa popularité auprès des développeurs au fil du temps.

Avantages :

• Mesure précise des coordonnées et des angles
• Les capteurs sont petits et légers, ce qui permet une plus grande flexibilité dans la manière dont ils sont intégrés à la conception.
• Les appareils sont bon marché et simples à produire.
• Aucune interférence électromagnétique

Inconvénients :

• La variabilité de la vitesse du son en fonction de la température, de la pression atmosphérique et de l’humidité de l’environnement peut entraîner des erreurs dans les calculs de distance.
• La portée est limitée et nécessite une ligne de vue directe entre les émetteurs et les récepteurs
• Par rapport à d'autres méthodes, la fréquence d'échantillonnage la plus élevée possible est relativement faible (quelques dizaines de Hz environ) en raison de la vitesse relativement faible du son dans l'air. Cela peut créer des retards de mesure pouvant atteindre quelques dizaines de millisecondes, à moins que la fusion des capteurs ne soit utilisée pour augmenter les mesures par ultrasons
• Les interférences acoustiques (c'est-à-dire d'autres sons dans l'environnement environnant) peuvent gêner les lectures.

En résumé, la mise en œuvre du suivi acoustique est optimale dans les cas où l'on a un contrôle total sur l'environnement ambiant dans lequel réside le système VR ou AR, comme un simulateur de vol.

Le suivi magnétique repose sur la mesure de l'intensité de champs magnétiques hétérogènes à l'aide de capteurs électromagnétiques. Une station de base , souvent appelée émetteur ou générateur de champ du système, génère un champ électromagnétique alternatif ou statique , selon l'architecture du système.

Pour couvrir toutes les directions de l'espace tridimensionnel, trois champs magnétiques sont générés séquentiellement. Les champs magnétiques sont générés par trois bobines électromagnétiques perpendiculaires entre elles. Ces bobines doivent être placées dans un petit boîtier monté sur une cible mobile dont il faut suivre la position. Le courant, qui traverse séquentiellement les bobines, les transforme en électroaimants, ce qui leur permet de déterminer leur position et leur orientation dans l'espace.

Étant donné que le suivi magnétique ne nécessite pas d'affichage monté sur la tête, qui est fréquemment utilisé dans la réalité virtuelle, il est souvent le système de suivi utilisé dans les écrans de réalité virtuelle entièrement immersifs. Les équipements conventionnels tels que les écrans montés sur la tête sont gênants pour l'utilisateur dans les expériences de réalité virtuelle entièrement fermées, de sorte que des équipements alternatifs tels que ceux utilisés dans le suivi magnétique sont privilégiés. Le suivi magnétique a été mis en œuvre par Polhemus et dans Razer Hydra par Sixense . Le système fonctionne mal à proximité de tout matériau conducteur d'électricité, comme des objets et des appareils métalliques, qui peuvent affecter un champ électromagnétique. Le suivi magnétique s'aggrave lorsque l'utilisateur s'éloigne de l'émetteur de base, et la zone évolutive est limitée et ne peut pas être supérieure à 5 mètres.

Avantages :

• Utilise un équipement discret qui n'a pas besoin d'être porté par l'utilisateur et n'interfère pas avec l'expérience de réalité virtuelle
• Adapté aux écrans de réalité virtuelle totalement immersifs

Inconvénients :

• L'utilisateur doit être proche de l'émetteur de base
• Le suivi s'aggrave à proximité de métaux ou d'objets qui interfèrent avec le champ électromagnétique
• Tendance à avoir beaucoup d’erreurs et de gigue en raison des exigences d’étalonnage fréquentes