Imagerie générée par ordinateur

L'imagerie générée par ordinateur ( CGI ) est une technologie ou une application spécifique de l'infographie pour créer ou améliorer des images dans l'art , les médias imprimés , les simulateurs , les vidéos et les jeux vidéo. Ces images sont soit statiques (c'est-à-dire des images fixes ) soit dynamiques (c'est-à-dire des images animées). CGI fait référence à la fois à l'infographie 2D et (plus fréquemment) à l'infographie 3D dans le but de concevoir des personnages, des mondes virtuels ou des scènes et des effets spéciaux (dans les films , les programmes de télévision, les publicités, etc.). L'application de la CGI à la création/amélioration des animations est appelée animation par ordinateur ou animation CGI .

Le premier long métrage à utiliser la CGI ainsi que la composition d'un film live-action avec CGI fut Vertigo , qui utilisa des images de synthèse abstraites de John Whitney dans le générique d'ouverture du film. Le premier long métrage à utiliser la CGI avec des prises de vue réelles dans le scénario du film fut le film Westworld de 1973. Parmi les autres premiers films qui incorporèrent la CGI, on trouve Star Wars : Episode IV (1977), Tron (1982), Star Trek II : La Colère de Khan (1982), Golgo 13 : Le Professionnel (1983), The Last Starfighter (1984), Young Sherlock Holmes (1985), The Abyss (1989), Terminator 2 : Le Jugement dernier (1991), Jurassic Park (1993) et Toy Story (1995). Le premier clip vidéo à utiliser la CGI fut Les Aventures de Will Powers (1983).

Avant que la CGI ne soit répandue dans le cinéma, la réalité virtuelle, l'informatique personnelle et les jeux, l'une des premières applications pratiques de la CGI était l'aviation et la formation militaire, à savoir le simulateur de vol . Les systèmes visuels développés dans les simulateurs de vol ont également été un précurseur important des graphiques informatiques tridimensionnels et des systèmes d'imagerie générée par ordinateur (CGI) actuels. Notamment parce que l'objectif de la simulation de vol était de reproduire au sol le comportement d'un avion en vol. Une grande partie de cette reproduction avait à voir avec une synthèse visuelle crédible qui imitait la réalité. Le Link Digital Image Generator (DIG) de la Singer Company (Singer-Link), était considéré comme l'un des systèmes CGI de première génération au monde. Il s'agissait d'un système jour/crépuscule/nuit en temps réel capable de fonctionner en 3D qui était utilisé par les navettes de la NASA, pour les F-111, Black Hawk et le B-52. Le générateur d'images numériques de Link avait une architecture permettant de fournir un système visuel qui correspondait de manière réaliste à la vue du pilote. L'architecture de base du DIG et les améliorations ultérieures comprenaient un gestionnaire de scène suivi d'un processeur géométrique, d'un processeur vidéo et d'un affichage dans le but final d'un système visuel qui traitait des capacités de texture, d'ombrage et de translucidité réalistes et sans aliasing.

Combinées à la nécessité d'associer la synthèse virtuelle aux exigences de formation de niveau militaire, les technologies CGI appliquées à la simulation de vol étaient souvent des années en avance sur ce qui aurait été disponible dans l'informatique commerciale ou même dans les films à gros budget. Les premiers systèmes CGI ne pouvaient représenter que des objets constitués de polygones plans. Les progrès des algorithmes et de l'électronique dans les systèmes visuels des simulateurs de vol et dans la CGI dans les années 1970 et 1980 ont influencé de nombreuses technologies encore utilisées dans la CGI moderne, ajoutant la capacité de superposer des textures sur les surfaces ainsi que de faire passer l'imagerie d'un niveau de détail à l'autre de manière fluide.

L'évolution de la CGI a conduit à l'émergence de la cinématographie virtuelle dans les années 1990, où la vision de la caméra simulée n'est pas limitée par les lois de la physique. La disponibilité des logiciels CGI et l'augmentation de la vitesse des ordinateurs ont permis aux artistes individuels et aux petites entreprises de produire des films, des jeux et des œuvres d'art de qualité professionnelle à partir de leurs ordinateurs personnels.

Les images animées ne font pas seulement partie de l'imagerie générée par ordinateur ; des paysages d'apparence naturelle (tels que des paysages fractals ) sont également générés via des algorithmes informatiques . Une façon simple de générer des surfaces fractales consiste à utiliser une extension de la méthode du maillage triangulaire , en s'appuyant sur la construction d'un cas particulier de courbe de Rham , par exemple le déplacement du point médian . Par exemple, l'algorithme peut commencer avec un grand triangle, puis effectuer un zoom avant récursif en le divisant en quatre triangles de Sierpinski plus petits , puis interpoler la hauteur de chaque point à partir de ses voisins les plus proches. La création d'une surface brownienne peut être obtenue non seulement en ajoutant du bruit à mesure que de nouveaux nœuds sont créés, mais en ajoutant du bruit supplémentaire à plusieurs niveaux du maillage. Ainsi, une carte topographique avec différents niveaux de hauteur peut être créée à l'aide d'algorithmes fractals relativement simples. Certaines fractales typiques et faciles à programmer utilisées en CGI sont la fractale plasma et la fractale de faille plus spectaculaire .

De nombreuses techniques spécifiques ont été étudiées et développées pour produire des effets générés par ordinateur très ciblés — par exemple, l'utilisation de modèles spécifiques pour représenter l'altération chimique des pierres afin de modéliser l'érosion et de produire une « apparence vieillie » pour une surface à base de pierre donnée.

Les architectes modernes font appel aux services d'entreprises d'infographie pour créer des modèles tridimensionnels à la fois pour les clients et les constructeurs. Ces modèles générés par ordinateur peuvent être plus précis que les dessins traditionnels. L'animation architecturale (qui fournit des films animés de bâtiments, plutôt que des images interactives) peut également être utilisée pour voir la relation possible qu'un bâtiment aura avec l'environnement et les bâtiments qui l'entourent. Le traitement des espaces architecturaux sans l'utilisation d'outils papier et crayon est désormais une pratique largement acceptée avec un certain nombre de systèmes de conception architecturale assistée par ordinateur.

Les outils de modélisation architecturale permettent à un architecte de visualiser un espace et d'effectuer des « visites guidées » de manière interactive, offrant ainsi des « environnements interactifs » à la fois au niveau urbain et au niveau du bâtiment. Les applications spécifiques en architecture incluent non seulement la spécification des structures de bâtiment (telles que les murs et les fenêtres) et des visites guidées, mais aussi les effets de la lumière et la façon dont la lumière du soleil affectera une conception spécifique à différents moments de la journée.

Les outils de modélisation architecturale sont désormais de plus en plus basés sur Internet. Cependant, la qualité des systèmes basés sur Internet reste inférieure à celle des systèmes de modélisation sophistiqués internes.

Dans certaines applications, les images générées par ordinateur sont utilisées pour « rétro-concevoir » des bâtiments historiques. Par exemple, une reconstruction générée par ordinateur du monastère de Georgenthal en Allemagne a été réalisée à partir des ruines du monastère, tout en offrant au spectateur un aperçu de ce à quoi le bâtiment aurait ressemblé à son époque.

Les modèles générés par ordinateur utilisés dans l'animation squelettique ne sont pas toujours anatomiquement corrects. Cependant, des organisations telles que le Scientific Computing and Imaging Institute ont développé des modèles informatiques anatomiquement corrects. Les modèles anatomiques générés par ordinateur peuvent être utilisés à la fois à des fins pédagogiques et opérationnelles. À ce jour, un grand nombre d' images médicales produites par des artistes continuent d'être utilisées par les étudiants en médecine, telles que les images de Frank H. Netter , par exemple les images cardiaques. Cependant, un certain nombre de modèles anatomiques en ligne deviennent disponibles.

Une radiographie d'un seul patient n'est pas une image générée par ordinateur, même si elle est numérisée. Cependant, dans les applications impliquant des tomodensitométries, un modèle tridimensionnel est automatiquement produit à partir de plusieurs radiographies à coupe unique, produisant ainsi une « image générée par ordinateur ». Les applications impliquant l'imagerie par résonance magnétique rassemblent également un certain nombre de « clichés » (dans ce cas via des impulsions magnétiques) pour produire une image composite interne.

Dans les applications médicales modernes, des modèles spécifiques au patient sont construits dans le cadre d'une « chirurgie assistée par ordinateur ». Par exemple, dans le cas d' une arthroplastie totale du genou , la construction d'un modèle détaillé spécifique au patient peut être utilisée pour planifier soigneusement l'intervention chirurgicale. Ces modèles tridimensionnels sont généralement extraits de plusieurs tomodensitogrammes des parties appropriées de l'anatomie du patient. Ces modèles peuvent également être utilisés pour planifier les implantations de valves aortiques , l'une des procédures courantes pour traiter les maladies cardiaques . Étant donné que la forme, le diamètre et la position des ouvertures coronaires peuvent varier considérablement d'un patient à l'autre, l'extraction (à partir de tomodensitogrammes ) d'un modèle qui ressemble étroitement à l'anatomie de la valve d'un patient peut être très bénéfique pour planifier la procédure.

Les modèles de tissu se répartissent généralement en trois groupes :

• La structure géométrique-mécanique au croisement des fils
• La mécanique des nappes élastiques continues
• Les caractéristiques macroscopiques géométriques du tissu.

À ce jour, faire en sorte que les vêtements d’un personnage numérique se plient automatiquement de manière naturelle reste un défi pour de nombreux animateurs.

En plus de leur utilisation dans le cinéma, la publicité et d'autres modes d'affichage public, les images de vêtements générées par ordinateur sont désormais couramment utilisées par les plus grandes entreprises de création de mode.

Le défi du rendu des images de peau humaine implique trois niveaux de réalisme :

• Photoréalisme ressemblant à la peau réelle au niveau statique
• Réalisme physique dans la ressemblance de ses mouvements
• Réalisme fonctionnel ressemblant à sa réponse aux actions.

Les caractéristiques visibles les plus fines, telles que les rides fines et les pores de la peau, mesurent environ 100 μm ou 0,1 millimètre . La peau peut être modélisée comme une fonction de texture bidirectionnelle à 7 dimensions (BTF) ou comme un ensemble de fonctions de distribution de diffusion bidirectionnelle (BSDF) sur les surfaces de la cible.

La visualisation interactive est le rendu de données qui peuvent varier de manière dynamique et qui permettent à un utilisateur de visualiser les données sous plusieurs angles. Les domaines d'application peuvent varier considérablement, allant de la visualisation des schémas d'écoulement dans la dynamique des fluides à des applications spécifiques de conception assistée par ordinateur . Les données rendues peuvent correspondre à des scènes visuelles spécifiques qui changent lorsque l'utilisateur interagit avec le système - par exemple, les simulateurs, tels que les simulateurs de vol , font un usage intensif des techniques CGI pour représenter le monde.

Au niveau abstrait, un processus de visualisation interactif implique un « pipeline de données » dans lequel les données brutes sont gérées et filtrées sous une forme qui les rend aptes au rendu. C'est ce qu'on appelle souvent les « données de visualisation » . Les données de visualisation sont ensuite mappées sur une « représentation de visualisation » qui peut être transmise à un système de rendu. C'est ce qu'on appelle généralement une « représentation pouvant être rendue » . Cette représentation est ensuite rendue sous la forme d'une image affichable. Lorsque l'utilisateur interagit avec le système (par exemple en utilisant des commandes de joystick pour changer sa position dans le monde virtuel), les données brutes sont transmises via le pipeline pour créer une nouvelle image rendue, ce qui fait souvent de l'efficacité de calcul en temps réel une considération clé dans de telles applications.

Alors que les images de paysages générées par ordinateur peuvent être statiques, l'animation par ordinateur ne s'applique qu'aux images dynamiques qui ressemblent à un film. Cependant, en général, le terme animation par ordinateur fait référence aux images dynamiques qui ne permettent pas l'interaction de l'utilisateur, et le terme monde virtuel est utilisé pour les environnements animés interactifs.

L'animation par ordinateur est essentiellement le successeur numérique de l'art de l'animation en stop motion de modèles 3D et de l'animation image par image d'illustrations 2D. Les animations générées par ordinateur sont plus faciles à contrôler que d'autres processus plus physiques, tels que la construction de miniatures pour les prises de vue à effets spéciaux ou l'embauche de figurants pour les scènes de foule, et parce qu'elles permettent la création d'images qui ne seraient pas réalisables avec une autre technologie. Elles peuvent également permettre à un seul graphiste de produire ce type de contenu sans avoir recours à des acteurs, à des décors coûteux ou à des accessoires.

Pour créer l'illusion du mouvement, une image est affichée sur l' écran de l'ordinateur et remplacée à plusieurs reprises par une nouvelle image similaire à la précédente, mais légèrement avancée dans le domaine temporel (généralement à une vitesse de 24 ou 30 images/seconde). Cette technique est identique à celle utilisée pour obtenir l'illusion du mouvement à la télévision et au cinéma .

Un modèle texte-image est un modèle d'apprentissage automatique qui prend une description en langage naturel en entrée et produit une image correspondant à cette description.

Les modèles de conversion de texte en image ont commencé à être développés au milieu des années 2010, au début de l'essor de l'IA , grâce aux progrès des réseaux neuronaux profonds . En 2022, les résultats des modèles de conversion de texte en image de pointe, tels que DALL-E 2 d'OpenAI , Imagen de Google Brain , Stable Diffusion de Stability AI et Midjourney, ont commencé à être considérés comme se rapprochant de la qualité des photographies réelles et des œuvres d'art dessinées par l'homme .

Les modèles de conversion de texte en image sont généralement des modèles de diffusion latente , qui combinent un modèle de langage , qui transforme le texte d'entrée en une représentation latente , et un modèle d'image génératif , qui produit une image conditionnée par cette représentation. Les modèles les plus efficaces ont généralement été formés sur des quantités massives de données d'image et de texte récupérées sur le Web .

Un monde virtuel est un environnement basé sur des agents et simulé permettant aux utilisateurs d'interagir avec des personnages animés artificiellement (par exemple un agent logiciel ) ou avec d'autres utilisateurs physiques, grâce à l'utilisation d' avatars . Les mondes virtuels sont destinés à être habités et à interagir par ses utilisateurs , et le terme est aujourd'hui devenu largement synonyme d'environnements virtuels 3D interactifs, où les utilisateurs prennent la forme d' avatars visibles par d'autres graphiquement. Ces avatars sont généralement représentés sous forme de représentations graphiques textuelles, bidimensionnelles ou tridimensionnelles , bien que d'autres formes soient possibles (sensations auditives et tactiles par exemple). Certains mondes virtuels, mais pas tous, permettent d'avoir plusieurs utilisateurs.

Les images générées par ordinateur sont utilisées dans les salles d’audience, principalement depuis le début des années 2000. Cependant, certains experts ont fait valoir qu’elles étaient préjudiciables. Elles sont utilisées pour aider les juges ou le jury à mieux visualiser la séquence des événements, des preuves ou des hypothèses. Cependant, une étude de 1997 a montré que les gens sont de piètres physiciens intuitifs et facilement influencés par les images générées par ordinateur. Il est donc important que les jurés et autres décideurs juridiques soient conscients que ces pièces à conviction ne sont qu’une représentation d’une séquence potentielle d’événements.

Les visualisations météorologiques ont été la première application de la CGI à la télévision. L'une des premières sociétés à proposer des systèmes informatiques pour générer des graphiques météorologiques a été ColorGraphics Weather Systems en 1979 avec le « LiveLine », basé sur un ordinateur Apple II , avec des modèles ultérieurs de ColorGraphics utilisant des ordinateurs Cromemco équipés de leur carte graphique vidéo Dazzler .

Il est désormais courant, dans les bulletins météo, d'afficher des vidéos animées d'images capturées en temps réel par plusieurs caméras et autres appareils d'imagerie. Associées à des symboles graphiques 3D et mappées sur un modèle géospatial virtuel commun, ces visualisations animées constituent la première véritable application de la CGI à la télévision.

Les images de synthèse sont devenues courantes dans la retransmission télévisée des événements sportifs. Les sites de sport et de divertissement sont dotés de contenus transparents et superposés via des flux de caméras suivis pour une meilleure visualisation par le public. Les exemples incluent la ligne jaune « premier essai » vue dans les retransmissions télévisées des matchs de football américain montrant la ligne que l'équipe offensive doit franchir pour recevoir un premier essai. Les images de synthèse sont également utilisées en association avec le football et d'autres événements sportifs pour afficher des publicités commerciales superposées sur la vue de la zone de jeu. Des sections de terrains de rugby et de terrains de cricket affichent également des images sponsorisées. Les retransmissions de natation ajoutent souvent une ligne sur les couloirs pour indiquer la position du détenteur du record actuel au fur et à mesure qu'une course se déroule pour permettre aux téléspectateurs de comparer la course en cours à la meilleure performance. D'autres exemples incluent le suivi des palets de hockey et les annotations des performances des voitures de course et des trajectoires de balles de snooker . Parfois, les images de synthèse à la télévision avec un alignement correct sur le monde réel ont été qualifiées de réalité augmentée .

L'imagerie générée par ordinateur est souvent utilisée en conjonction avec la capture de mouvement pour mieux masquer les défauts liés à la CGI et à l'animation.L'imagerie générée par ordinateur est limitée dans son application pratique par son réalisme. Une imagerie générée par ordinateur irréaliste ou mal gérée peut entraîner l' effet de la vallée de l'étrange . Cet effet fait référence à la capacité humaine à reconnaître des choses qui ressemblent étrangement à des humains, mais qui sont légèrement différentes. Cette capacité est un défaut de l'imagerie générée par ordinateur normale qui, en raison de l'anatomie complexe du corps humain, peut souvent ne pas la reproduire parfaitement. Les artistes peuvent utiliser la capture de mouvement pour obtenir des images d'un humain effectuant une action, puis la reproduire parfaitement avec des images générées par ordinateur pour qu'elle paraisse normale.

L’absence de modèles numériques anatomiquement corrects contribue à la nécessité de la capture de mouvement telle qu’elle est utilisée avec l’imagerie générée par ordinateur. Étant donné que l’imagerie générée par ordinateur ne reflète que l’extérieur, ou la peau, de l’objet rendu, elle ne parvient pas à capturer les interactions infinitésimales entre les groupes musculaires imbriqués utilisés dans les compétences motrices fines comme la parole. Le mouvement constant du visage lorsqu’il produit des sons avec des lèvres formées et des mouvements de la langue, ainsi que les expressions faciales qui accompagnent la parole sont difficiles à reproduire à la main. La capture de mouvement peut capturer le mouvement sous-jacent des muscles du visage et mieux reproduire le visuel qui accompagne l’audio.