Modèle augmenté par projection

Un modèle augmenté par projection ( modèle PA ) est un élément parfois utilisé dans les systèmes de réalité virtuelle . Il se compose d'un modèle physique tridimensionnel sur lequel une image informatique est projetée pour créer un objet d'apparence réaliste. Il est important de noter que le modèle physique a la même forme géométrique que l'objet représenté par le modèle PA.

La réalité augmentée spatiale (SAR) permet de restituer des objets virtuels directement dans ou sur l'espace physique de l'utilisateur. L'un des principaux avantages de la SAR est que l'utilisateur n'a pas besoin de porter un casque de visualisation . Au lieu de cela, grâce à l'utilisation d'écrans spatiaux, un large champ de vision et éventuellement des images haute résolution d'objets virtuels peuvent être intégrés directement dans l'environnement. Par exemple, les objets virtuels peuvent être réalisés en utilisant des projecteurs de lumière numérique pour peindre des images 2D/3D sur des surfaces réelles, ou en utilisant des écrans plats intégrés.

Les objets réels peuvent être manipulés physiquement et naturellement pour être vus depuis n'importe quelle direction, ce qui est essentiel pour l'évaluation ergonomique et offre une forte sensation de palpabilité. de retour haptique simulés permettent de toucher certains aspects des objets générés par ordinateur, ils ne peuvent pas égaler ce niveau de fonctionnalité. Il n'est donc pas surprenant que les objets physiques soient encore utilisés pour de nombreuses applications, telles que la conception de produits . Cependant, les objets générés par ordinateur présentent un avantage clé : ils offrent un niveau de flexibilité que les objets physiques ne peuvent égaler. Par conséquent, un affichage est nécessaire qui relie d'une manière ou d'une autre le monde physique réel et les objets générés par ordinateur, permettant ainsi de les expérimenter simultanément.

Les interfaces utilisateur tangibles (TUI) et la réalité augmentée visent toutes deux à résoudre ce problème. Les systèmes TUI utilisent des objets physiques réels pour représenter et interagir avec les informations générées par ordinateur (Figure 1). Cependant, si les TUI créent un lien physique entre les objets réels et les objets générés par ordinateur, elles ne créent pas l'illusion que les objets générés par ordinateur se trouvent réellement dans l'environnement réel d'un utilisateur. C'est l'objectif de la réalité augmentée.

Figure 1 Continuum d’interfaces informatiques avancées, basé sur Milgram et Kishino (1994).

Contrairement à la réalité virtuelle (RV), qui plonge un utilisateur dans un environnement généré par ordinateur, la réalité augmentée (RA) réunit des espaces physiques et virtuels en créant l'illusion que les objets générés par ordinateur sont en réalité des objets réels dans l'environnement d'un utilisateur (Figure 1). De plus, les systèmes de RA et de RV basés sur un casque d'affichage peuvent intégrer directement des objets physiques. Ainsi, lorsqu'un utilisateur tend la main vers un objet généré par ordinateur qu'il peut voir, il touche un modèle physique équivalent qui est placé au même endroit spatial. De tels systèmes permettent de modifier dynamiquement l'apparence visuelle générée par ordinateur de l'objet, tandis que le modèle physique fournit un retour haptique sur la forme sous-jacente de l'objet. Cependant, les systèmes basés sur un casque d'affichage nécessitent que les utilisateurs portent un équipement, ce qui limite le nombre de personnes qui peuvent utiliser simultanément l'écran.

Une variante du paradigme AR qui ne souffre pas de ces limitations est la réalité augmentée spatialement (Figure 1). Les écrans de réalité augmentée spatialement projettent des informations générées par ordinateur directement dans l'environnement de l'utilisateur. Bien qu'il existe plusieurs configurations d'affichage possibles, le type le plus naturel est le modèle augmenté par projection.

Figure 2 Le concept de modèle de projection augmentée

Un modèle augmenté par projection (modèle PA) se compose d'un modèle physique tridimensionnel sur lequel une image informatique est projetée pour créer un objet d'apparence réaliste (Figure 2). Il est important de noter que le modèle physique a la même forme géométrique que l'objet représenté par le modèle PA. Par exemple, l'image projetée sur les objets représentés sur la Figure 3 fournit une couleur et une texture visuelle qui les font paraître fabriqués à partir de matériaux différents.

Figure 3 Un exemple de modèle de projection augmentée (encart - avec la projection désactivée).

Les modèles PA utilisent une combinaison unique d'objets physiques et d'informations générées par ordinateur, et héritent donc des avantages des deux. « L'interface humaine avec un modèle physique est l'essence même de l'intuitivité. Il n'y a pas de widgets à manipuler, pas de curseurs à déplacer et pas d'écrans à regarder (ou à porter). Au lieu de cela, nous nous promenons autour des objets, en nous déplaçant vers l'avant et vers l'arrière pour zoomer, en regardant et en nous concentrant sur des composants intéressants, le tout avec une très grande fidélité visuelle, spatiale et temporelle » . Les modèles PA combinent le haut niveau d'intuitivité des modèles physiques avec la flexibilité et la fonctionnalité de l'infographie, comme la capacité d'être rapidement modifié, animé, enregistré et mis à jour (Jacucci, Oulasvirta, Psik, Salovaara & Wagner, 2005). Ainsi, un modèle PA donne essentiellement une forme physique à un objet généré par ordinateur, qu'un utilisateur peut toucher et saisir à mains nues. Il n’est donc pas surprenant que les études d’utilisateurs, qui ont comparé les modèles PA à d’autres écrans de réalité virtuelle et augmentée, aient révélé que les modèles PA étaient un type d’affichage naturel et intuitif (Nam & Lee, 2003 ; Stevens et al., 2002).

Cependant, le concept de modèle de sonorisation n’est pas nouveau. En fait, l’un des premiers modèles de sonorisation a été créé il y a plus de vingt ans lorsque Naimark a construit l’installation artistique « Displacements » (Naimark, 1984) et plus récemment dans l’attraction « Haunted Mansion » de Disney World (Liljegren & Foster, 1990). À l’époque, la technologie n’existait pas pour qu’un modèle de sonorisation soit beaucoup plus qu’une déclaration artistique. Cependant, compte tenu de la technologie disponible aujourd’hui et d’un peu d’« imagination débridée », l’exploration de nouveaux affichages de projection est désormais « potentiellement illimitée ».

La croissance de la technologie des modèles PA a été marquée par la récente recréation de l'installation « Displacements » de Naimark au SIGGRAPH (Displacements, 2005). Plus précisément, une nouvelle technologie a été développée qui automatise de manière semi-exacte le processus de création et d'alignement du modèle physique et de l'image projetée. Cela prend en charge plusieurs projecteurs, ce qui permet d'éclairer un modèle PA dans toutes les directions. De plus, des projecteurs puissants (2000-3000 lumens) peuvent être utilisés pour permettre à un modèle PA d'être placé dans une pièce bien éclairée (Nam, 2005 ; Umemoro, Keller & Stappers, 2003). Cependant, bien que cette technologie permette à un modèle PA d'être un type d'affichage viable et utile, elle ne répond pas à son objectif principal.

Un modèle PA vise à créer l'illusion d'être réellement l'objet qu'il représente. Par exemple, lorsqu'il est utilisé pour une application de conception de produit, il est important qu'un modèle PA donne une impression perceptuelle convaincante d'être réellement le produit final (Nam, 2006 ; Saakes, 2006 ; Verlinden, Horváth et Edelenbos, 2006 ; Keller et Stappers, 2001). De même, lorsqu'il est utilisé pour une application d'affichage dans un musée pour créer une réplique d'un artefact, un modèle PA vise à créer l'illusion d'être le véritable artefact (Hirooka et Satio, 2006 ; Senckenberg Museum, 2006 ; Bimber, Gatesy, Witmer, Raskar et Encarnacao, 2002 ; Museum of London, 1999).

Cependant, aucune recherche antérieure n'a spécifiquement pris en compte cette illusion. Par conséquent, cette thèse définit « l'illusion du modèle augmenté par projection » comme la situation dans laquelle un modèle PA est perçu comme étant en réalité l'objet qu'il représente. Par exemple, cette illusion se produit lorsqu'un utilisateur perçoit le modèle PA de la figure 3 comme étant de vraies briques, des pots de fleurs et des morceaux de bois, par opposition à des modèles blancs sur lesquels est projetée une image. Cependant, l'essence de cette illusion n'implique pas de tromper l'utilisateur. Un utilisateur peut percevoir un modèle PA comme étant l'objet qu'il représente, tout en sachant qu'il s'agit en fait d'un modèle blanc et d'une image projetée.

Des technologies ont été développées pour renforcer cette illusion en augmentant la similitude physique entre le modèle PA et l'objet qu'il représente, ou en d'autres termes, en augmentant la fidélité du modèle PA. Par exemple, la manière dont les reflets spéculaires d'un objet se déplacent lorsque le spectateur change de position peut être simulée de manière dynamique. Cela permet à un modèle PA de sembler fabriqué à partir d'une grande variété de matériaux. Par exemple, un vase en argile terne peut sembler fabriqué à partir d'un matériau plastique brillant.

Cependant, la survenue ou non de l'illusion du modèle PA dépend entièrement de l'impression perceptuelle subjective de l'utilisateur. Par conséquent, l'augmentation de la fidélité des différents aspects d'un modèle PA peut avoir un effet différent sur la force de l'illusion. C'est essentiellement la même chose que l'augmentation de la fidélité des différents aspects d'une image photoréaliste générée par ordinateur peut avoir un effet différent sur le degré auquel l'image est perçue comme une photographie réelle (Longhurst, Ledda et Chalmers, 2003 ; Rademacher, Lengyel, Cutrell et Whitted, 2001). Par exemple, l'augmentation de la fidélité des textures de l'image peut généralement être plus importante que l'augmentation de la fidélité des ombres. On ne peut donc pas supposer qu'une augmentation de la fidélité d'un aspect quelconque d'un modèle PA renforcera automatiquement l'illusion du modèle PA, et de même, on ne peut pas supposer que la diminution de la fidélité d'un aspect quelconque l'affaiblira automatiquement. Par conséquent, étant donné qu’aucune recherche antérieure n’a examiné cette illusion, il est difficile de déterminer le succès de la technologie qui vise à l’améliorer et difficile de prendre des décisions éclairées lors du développement d’une nouvelle technologie. Les capacités du système perceptif humain devraient guider le développement de toute interface avancée (Stanney et al., 2004), d’où la nécessité de traiter cette question.

Remarque : les modèles de projection augmentée sont parfois appelés « lampes Shader » (Raskar, Welch, Low et Bandyopadhyay, 2001, p. 89).