Worldlex Wiki L'informatique affective est l'étude et le développement de systèmes et de dispositifs capables de reconnaître, d'interpréter, de traiter et de simuler les affects humains . C'est un domaine interdisciplinaire à la croisée de l'informatique , de la psychologie et des sciences cognitives . Si certaines idées fondamentales du domaine remontent aux premières recherches philosophiques sur les émotions , le concept moderne a émergé avec l'article de Rosalind Picard de 1995 intitulé « Affective Computing » et son ouvrage éponyme de 1997 , publié par MIT Press . L'une des motivations de la recherche en informatique affective est la possibilité de doter les machines d' une intelligence émotionnelle , notamment en simulant l'empathie . L'objectif est qu'une machine puisse interpréter l'état émotionnel des humains et adapter son comportement à ces émotions, en y répondant de manière appropriée. Des recherches expérimentales récentes ont montré que des retours haptiques affectifs subtils peuvent façonner l'apprentissage des récompenses humaines et le comportement d'interaction mobile, suggérant que les systèmes informatiques affectifs peuvent non seulement interpréter les états émotionnels, mais aussi moduler activement les actions de l'utilisateur grâce à des sorties chargées d'émotion.
de capteurs passifs qui enregistrent des données sur l'état physique ou le comportement de l'utilisateur sans les interpréter. Les données recueillies sont analogues aux indices que les humains utilisent pour percevoir les émotions chez autrui. Par exemple, une caméra vidéo peut enregistrer les expressions faciales, la posture corporelle et les gestes, tandis qu'un microphone peut enregistrer la parole. D'autres capteurs détectent les indices émotionnels en mesurant directement des données physiologiques , telles que la température cutanée et la résistance galvanique .La reconnaissance des informations émotionnelles nécessite l'extraction de schémas significatifs à partir des données recueillies. Ceci est réalisé grâce à des techniques d'apprentissage automatique qui traitent différentes modalités , telles que la reconnaissance vocale , le traitement automatique du langage naturel ou la détection des expressions faciales . L'objectif de la plupart de ces techniques est de produire des étiquettes correspondant à celles qu'un humain utiliserait dans la même situation. Par exemple, si une personne fronce les sourcils, le système de vision par ordinateur peut être entraîné à qualifier son visage d'expression « confuse », « concentrée » ou « légèrement négative » (par opposition à positive, qu'il qualifierait de positive si la personne souriait). Cette réponse est basée sur les données utilisées pour entraîner le système. Ces étiquettes peuvent ou non correspondre aux sentiments réels de la personne.
L'émotion dans les machines
Un autre domaine de l'informatique affective concerne la conception de dispositifs informatiques dotés de capacités émotionnelles innées ou capables de simuler des émotions de manière convaincante. Une approche plus pratique, fondée sur les capacités technologiques actuelles, consiste à simuler des émotions dans des agents conversationnels afin d'enrichir et de faciliter l'interaction entre l'humain et la machine.
Marvin Minsky , l'un des pionniers de l'intelligence artificielle , relie les émotions aux enjeux plus vastes de l'intelligence artificielle, affirmant dans *The Emotion Machine * que l'émotion n'est « pas fondamentalement différente des processus que nous appelons "pensée" » L'approche novatrice des « humains numériques » ou humains virtuels consiste notamment à doter ces programmes, qui simulent les humains, d'une dimension émotionnelle, incluant des réactions, des expressions faciales et des gestes conformes à la réaction qu'une personne réelle aurait dans certaines situations émotionnellement stimulantes
L'expression « émotion chez les machines » désigne souvent les émotions ressenties par les systèmes informatiques, notamment ceux basés sur l'IA. C'est pourquoi on parle d'« IA émotionnelle ». Certains grands modèles de langage modernes simulent des émotions dans leurs conversations avec les humains. Les émotions simulées par ChatGPT sont généralement plus positives que celles de la plupart des humains.
Technologies
En psychologie, en sciences cognitives et en neurosciences, deux grandes approches ont été utilisées pour décrire la perception et la classification des émotions chez l'humain : l'approche continue et l'approche catégorielle. L'approche continue tend à utiliser des dimensions telles que négatif/positif, calme/excitation.
L'approche catégorielle tend à utiliser des classes discrètes telles que la joie, la tristesse, la colère, la peur, la surprise et le dégoût. Différents types de modèles d'apprentissage automatique, de régression et de classification, sont utilisés pour produire des étiquettes continues ou discrètes. Parfois, des modèles sont également conçus pour permettre des combinaisons entre les catégories (par exemple, un visage joyeux et surpris ou un visage effrayé et surpris).
Les sections suivantes examinent plusieurs types de données d'entrée utilisées pour la tâche de reconnaissance des émotions .
Discours émotionnel
Diverses modifications du système nerveux autonome peuvent altérer indirectement la parole d'une personne, et les technologies affectives peuvent exploiter cette information pour reconnaître les émotions. Par exemple, la parole produite dans un état de peur, de colère ou de joie devient rapide, forte et articulée avec précision, avec une tessiture plus aiguë et une gamme de fréquences plus étendue, tandis que des émotions telles que la fatigue, l'ennui ou la tristesse tendent à générer une parole lente, grave et indistincte. Certaines émotions se sont révélées plus faciles à identifier par ordinateur, comme la colère ou l'approbation.
Les technologies de traitement émotionnel de la parole reconnaissent l'état émotionnel de l'utilisateur grâce à l'analyse informatique des caractéristiques de la parole. Les paramètres vocaux et les caractéristiques prosodiques , tels que les variations de hauteur et le débit de parole, peuvent être analysés par des techniques de reconnaissance de formes.
L'analyse de la parole est une méthode efficace pour identifier l'état affectif, avec une précision moyenne de 70 à 80 % rapportée dans les recherches menées entre 2003 et 2006. Ces systèmes tendent à surpasser la précision humaine moyenne (environ 60 % ), mais sont moins précis que les systèmes qui utilisent d'autres modalités de détection des émotions, telles que les états physiologiques ou les expressions faciales. Cependant, comme de nombreuses caractéristiques de la parole sont indépendantes de la sémantique ou de la culture, cette technique est considérée comme une piste prometteuse pour les recherches futures.
Algorithmes
Le processus de détection des émotions dans la parole/le texte nécessite la création d'une base de données fiable , d' une base de connaissances ou d'un modèle d'espace vectoriel , suffisamment large pour répondre à tous les besoins de son application, ainsi que la sélection d'un classificateur performant qui permettra une identification rapide et précise des émotions.
LDC – La classification s'effectue sur la base de la valeur obtenue à partir de la combinaison linéaire des valeurs des caractéristiques, qui sont généralement fournies sous forme de caractéristiques vectorielles. Il a été démontré qu'avec suffisamment de données acoustiques disponibles, l'état émotionnel d'une personne peut être classé par un ensemble de classificateurs à vote majoritaire. L'ensemble de classificateurs proposé repose sur trois classificateurs principaux : kNN, C4.5 et SVM-RBF Kernel. Cet ensemble offre de meilleures performances que chaque classificateur de base pris individuellement. Il est comparé à deux autres ensembles de classificateurs : un SVM multiclasse de type « un contre tous » (OAA) avec noyaux hybrides et un ensemble composé des deux classificateurs de base suivants : C5.0 et réseau de neurones. La variante proposée surpasse les deux autres ensembles de classificateurs.
Bases de données
La grande majorité des systèmes actuels dépendent des données. Cela constitue l'un des principaux défis de la détection des émotions à partir de la parole, car il est nécessaire de choisir une base de données appropriée pour entraîner le classificateur. La plupart des données disponibles actuellement proviennent d'acteurs et représentent donc des émotions archétypales. Ces bases de données dites « d'interprétation » sont généralement basées sur la théorie des émotions de base de Paul Ekman , qui postule l'existence de six émotions fondamentales (colère, peur, dégoût, surprise, joie, tristesse), les autres étant une combinaison de ces six. Néanmoins, ces bases de données offrent une qualité audio élevée et des classes équilibrées (bien que souvent trop peu nombreuses), ce qui contribue à des taux de réussite élevés dans la reconnaissance des émotions.
Toutefois, pour une application concrète, les données naturalistes sont préférables. Une base de données naturaliste peut être constituée par l'observation et l'analyse de sujets dans leur contexte naturel. À terme, une telle base de données devrait permettre au système de reconnaître les émotions en fonction du contexte et d'identifier les objectifs et les résultats de l'interaction. La nature de ces données permet une implémentation authentique et réaliste, car elles décrivent des états se produisant naturellement lors d'interactions homme-machine (IHM).
Malgré les nombreux avantages des données naturalistes par rapport aux données simulées, leur obtention est complexe et elles présentent généralement une faible intensité émotionnelle. De plus, les données recueillies en contexte naturel ont une qualité de signal inférieure, en raison de l'environnement, du bruit et de la distance entre les sujets et le microphone. La première tentative de création d'une telle base de données fut le corpus FAU Aibo Emotion Corpus pour CEICES (Combining Efforts for Improving Automatic Classification of Emotional User States), développé à partir d'un contexte réaliste d'enfants (âgés de 10 à 13 ans) jouant avec le robot Aibo de Sony. De même, la création d'une base de données standard pour toutes les recherches sur les émotions permettrait d'évaluer et de comparer différents systèmes de reconnaissance des émotions.
descripteurs vocaux
La complexité du processus de reconnaissance des émotions augmente avec le nombre de classes (émotions) et de descripteurs vocaux utilisés par le classificateur. Il est donc crucial de sélectionner uniquement les caractéristiques les plus pertinentes afin de garantir la capacité du modèle à identifier correctement les émotions et d'améliorer ses performances, ce qui est particulièrement important pour la détection en temps réel. Le choix des caractéristiques possibles est vaste, certaines études mentionnant l'utilisation de plus de 200 caractéristiques distinctes. Il est essentiel d'identifier les caractéristiques redondantes et indésirables afin d'optimiser le système et d'améliorer le taux de réussite de la détection correcte des émotions. Les caractéristiques vocales les plus courantes sont regroupées comme suit.
- Caractéristiques de fréquence
- Forme de l'accentuation – affectée par le taux de variation de la fréquence fondamentale.
- Hauteur moyenne – décrit la hauteur de la voix du locuteur par rapport à la parole normale.
- Pente du contour – décrit la tendance de l'évolution de la fréquence au fil du temps ; elle peut être croissante, décroissante ou stable.
- Diminution finale – la diminution de la fréquence à la fin d'un énoncé.
- Gamme de fréquences – mesure l'écart entre la fréquence maximale et la fréquence minimale d'un énoncé.
- Caractéristiques liées au temps :
- Débit de parole – décrit le nombre de mots ou de syllabes prononcés par unité de temps.
- Fréquence d'accentuation – mesure le taux d'occurrence des énoncés accentués sur la hauteur tonale
- Paramètres de qualité vocale et descripteurs énergétiques :
- Souffle – mesure le bruit d'aspiration dans la parole
- Brillance – décrit la prédominance des hautes ou basses fréquences dans la parole
- L'intensité sonore mesure l'amplitude du signal vocal et se traduit par l'énergie d'un énoncé.
- Discontinuité de la pause – décrit les transitions entre le son et le silence
- Discontinuité de hauteur – décrit les transitions de la fréquence fondamentale.
Détection des expressions faciales
La détection et le traitement des expressions faciales sont réalisés grâce à diverses méthodes telles que le flux optique , les modèles de Markov cachés , le traitement par réseaux de neurones ou les modèles d'apparence active. Plusieurs modalités peuvent être combinées ou fusionnées (reconnaissance multimodale, par exemple expressions faciales et prosodie de la parole , expressions faciales et gestes de la main , ou expressions faciales avec parole et texte pour l'analyse de données et de métadonnées multimodales) afin de fournir une estimation plus robuste de l'état émotionnel du sujet.
bases de données d'expressions faciales
Cependant, dans les années 1990, Ekman a élargi sa liste d'émotions de base, y incluant toute une gamme d' émotions positives et négatives , dont certaines ne sont pas codées par les muscles faciaux. Les nouvelles émotions sont :
Système de codage des expressions faciales
| Émotion | Unités d'action |
|---|---|
| Bonheur | 6+12 |
| Tristesse | 1+4+15 |
| Surprendre | 1+2+5B+26 |
| Peur | 1+2+4+5+20+26 |
| Colère | 4+5+7+23 |
| Dégoût | 9+15+16 |
| Mépris | R12A+R14A |
Défis liés à la détection faciale
Comme pour toute pratique informatique, certains obstacles doivent être surmontés afin d'exploiter pleinement le potentiel de la détection des émotions par traitement facial. Aux débuts de la détection basée sur l'IA (reconnaissance vocale, reconnaissance faciale et reconnaissance des émotions), la précision de la modélisation et du suivi posait problème. Avec l'évolution du matériel, ce manque de précision s'estompe. Cependant, des problèmes de bruit subsistent. Des méthodes de réduction du bruit existent, notamment la moyenne de voisinage, le lissage gaussien linéaire , le filtrage médian ou des méthodes plus récentes comme l'algorithme d'optimisation par recherche de nourriture bactérienne
Parmi les autres défis, on peut citer :
- Le fait que les expressions posées ne soient pas naturelles, et que par conséquent les algorithmes entraînés sur celles-ci puissent ne pas s'appliquer aux expressions naturelles.
- Le manque de liberté de mouvement en rotation. La détection des émotions fonctionne très bien en vue frontale, mais lors d'une rotation de la tête de plus de 20 degrés, « des problèmes sont apparus ».
- Les expressions faciales ne correspondent pas toujours à une émotion sous-jacente qui leur est associée (par exemple, elles peuvent être posées ou simulées, ou une personne peut ressentir des émotions mais garder un visage impassible).
- L'échelle FACS n'incluait pas la dynamique, ce qui peut aider à lever l'ambiguïté (par exemple, les sourires de bonheur authentique ont tendance à avoir une dynamique différente des sourires « efforcés d'avoir l'air heureux »).
- Les combinaisons FACS ne correspondent pas de manière univoque aux émotions que les psychologues avaient initialement proposées (notez que ce manque de correspondance univoque se produit également dans la reconnaissance vocale avec les homophones et les homonymes et de nombreuses autres sources d'ambiguïté, et peut être atténué en faisant intervenir d'autres canaux d'information).
- L'ajout de contexte améliore la précision de la reconnaissance ; cependant, l'ajout de contexte et d'autres modalités augmente le coût et la complexité du calcul.
Gestes corporels
La détection des gestes peut être réalisée par de nombreuses méthodes. Deux approches principales existent pour la reconnaissance gestuelle : l’approche basée sur un modèle 3D et l’approche basée sur l’apparence. La première utilise les informations 3D des éléments clés du corps afin d’obtenir plusieurs paramètres importants, tels que la position de la paume ou les angles articulaires. Les systèmes basés sur l’apparence, quant à eux, utilisent des images ou des vidéos pour une interprétation directe. Les gestes de la main constituent un axe de recherche privilégié des méthodes de détection des gestes corporels.
Surveillance physiologique
Cette méthode pourrait servir à détecter l'état affectif d'un utilisateur en surveillant et en analysant ses signes physiologiques. Ces signes comprennent des variations de la fréquence cardiaque et de la conductance cutanée, ainsi que de légères contractions des muscles faciaux et des modifications du flux sanguin facial. Ce domaine est en plein essor et l'on observe désormais des produits concrets intégrant ces techniques. Les quatre principaux signes physiologiques généralement analysés sont le volume sanguin pulsé , la réponse galvanique cutanée , l'électromyographie faciale et les variations de coloration du visage. Par exemple, ces méthodes ont été utilisées pour rechercher des symptômes de dépression.
pulsation du volume sanguin
Aperçu
Le volume sanguin pulsé (VSP) d'un sujet peut être mesuré par photopléthysmographie , un procédé qui produit un graphique illustrant le flux sanguin dans les extrémités . Les pics des ondes correspondent à un cycle cardiaque durant lequel le cœur a pompé le sang vers les extrémités. Si le sujet ressent de la peur ou est surpris, son cœur s'emballe généralement pendant un certain temps, ce qui augmente l'amplitude du cycle cardiaque. Ce phénomène est clairement visible sur un photopléthysmographe lorsque la distance entre le creux et le pic de l'onde diminue. Lorsque le sujet se calme et que son volume sanguin se rétablit, permettant à davantage de sang de retourner vers les extrémités, le cycle revient à la normale.
Méthodologie
Des chercheurs ont projeté de la lumière infrarouge sur la peau à l'aide de capteurs spécifiques, et ont mesuré la quantité de lumière réfléchie. La quantité de lumière réfléchie et transmise est corrélée à la pression de perfusion sanguine (BVP), car la lumière est absorbée par l'hémoglobine, présente en grande quantité dans le sang.
Inconvénients
Il peut être fastidieux de s'assurer que le capteur émettant une lumière infrarouge et surveillant la lumière réfléchie pointe toujours vers la même extrémité, notamment parce que les sujets s'étirent et réajustent souvent leur position lorsqu'ils utilisent un ordinateur.
D'autres facteurs peuvent influencer le volume sanguin pulsé. Ce dernier étant une mesure du débit sanguin dans les extrémités, si la personne a particulièrement chaud ou particulièrement froid, son corps peut moduler l'afflux sanguin vers ces extrémités, indépendamment de son état émotionnel.
électromyographie faciale
Réponse galvanique de la peau
La conductance cutanée est souvent mesurée à l'aide de deux petites électrodes en argent-chlorure d'argent placées sur la peau et d'une faible tension appliquée entre elles. Pour un confort optimal et une irritation minimale, les électrodes peuvent être placées sur les poignets, les jambes ou les pieds, laissant ainsi les mains libres pour les activités quotidiennes.
Couleur du visage
Aperçu
La surface du visage humain est innervée par un vaste réseau de vaisseaux sanguins. Les variations du flux sanguin dans ces vaisseaux entraînent des changements de couleur visibles sur le visage. Que les émotions faciales activent ou non les muscles du visage, des variations du flux sanguin, de la pression artérielle, de la glycémie et d'autres paramètres se produisent. De plus, le signal de couleur du visage est indépendant de celui fourni par les mouvements des muscles faciaux.
Méthodologie
Les approches reposent sur les changements de couleur du visage. La triangulation de Delaunay est utilisée pour créer les zones locales triangulaires. Certains de ces triangles, définissant l'intérieur de la bouche et des yeux (sclère et iris), sont supprimés. Les pixels des zones triangulaires restantes servent à créer des vecteurs de caractéristiques. Il a été démontré que la conversion de la couleur des pixels de l' espace colorimétrique RGB standard vers un espace colorimétrique plus adapté, tel que Les robots sociaux , ainsi qu'un nombre croissant de robots utilisés dans le domaine de la santé, bénéficient de la conscience émotionnelle car ils peuvent mieux évaluer l'état émotionnel des utilisateurs et des patients, et adapter leurs actions/programmation en conséquence. Ceci est particulièrement important dans les pays où la population vieillit et où la main-d'œuvre jeune est insuffisante pour répondre à ses besoins.
L’informatique affective est également appliquée au développement de technologies de communication destinées aux personnes autistes. La composante affective d’un texte suscite également un intérêt croissant, notamment son rôle dans ce que l’on appelle l’Internet émotionnel ou émouvant .
Jeux vidéo
Les jeux vidéo affectifs peuvent accéder aux états émotionnels des joueurs grâce à des dispositifs de biofeedback . Une forme particulièrement simple de biofeedback consiste en une manette de jeu qui mesure la pression exercée sur un bouton : il a été démontré que cette pression est fortement corrélée au niveau d’ excitation des joueurs . À l’autre extrémité du spectre se trouvent les interfaces cerveau-ordinateur . Les jeux affectifs ont été utilisés dans la recherche médicale pour soutenir le développement émotionnel des enfants autistes .
entraînement psychomoteur
Les méthodes de formation aux opérations psychomotrices , telles que le pilotage et les manœuvres, sont utilisées dans divers domaines comme l'aviation, les transports et la médecine. L'intégration de capacités de calcul affectif dans ces systèmes de formation, conformément à l'approche d'automatisation adaptative, s'est avérée efficace pour améliorer la qualité de la formation et en réduire la durée.
Autres applications
L'informatique affective a des applications potentielles dans l'interaction homme-machine , telles que des miroirs affectifs qui permettent à l'utilisateur de voir comment il se comporte, des agents de surveillance des émotions qui envoient un avertissement avant qu'on n'envoie un courriel de colère, ou même des lecteurs de musique capables de sélectionner des morceaux en fonction de l'humeur.
Une idée avancée par le chercheur roumain Nicu Sebe lors d'une interview consiste à analyser les expressions faciales d'une personne pendant qu'elle utilise un produit donné (il a cité la crème glacée en exemple). Les entreprises pourraient alors utiliser cette analyse pour déduire si leur produit sera bien accueilli ou non par le marché concerné.
On pourrait également utiliser la reconnaissance des états affectifs pour évaluer l'impact d'une publicité télévisée grâce à l'enregistrement vidéo en temps réel de la personne concernée et à l'étude subséquente de son expression faciale. En faisant la moyenne des résultats obtenus sur un large groupe de sujets, on peut déterminer si la publicité (ou le film) produit l'effet escompté et quels sont les éléments qui retiennent le plus l'attention du spectateur.
Approches cognitivistes vs. interactionnelles
Dans le domaine de l'interaction homme-machine , le concept cognitiviste ou « modèle informationnel » de l'émotion de Rosalind Picard a été critiqué et mis en contraste avec l' approche pragmatiste « post-cognitiviste » ou « interactionnelle » adoptée par Kirsten Boehner et d'autres, qui considère l'émotion comme intrinsèquement sociale.
Les travaux de Picard portent sur l'interaction homme-machine, et son objectif en matière d'informatique affective est de « donner aux ordinateurs la capacité de reconnaître, d'exprimer et, dans certains cas, de ressentir des émotions » . À l'inverse, l'approche interactionnelle vise à aider « les individus à comprendre et à vivre leurs propres émotions » et à améliorer la communication interpersonnelle médiatisée par ordinateur. Elle ne cherche pas nécessairement à transposer l'émotion dans un modèle mathématique objectif destiné à l'interprétation par machine, mais plutôt à laisser les humains interpréter les expressions émotionnelles d'autrui de manière ouverte, potentiellement ambiguë, subjective et sensible au contexte L’utilisation d’outils informatiques affectifs tels que ChatGPT a conduit certaines personnes à développer des relations parasociales avec ces robots virtuels. Une femme, interviewée par le New York Times, discutait avec son « petit ami IA », ChatGPT, jusqu’à cinquante-six heures par semaine. Ce type d’interactions avec des outils informatiques affectifs peut aggraver les sentiments de dépression ou de solitude chez les personnes souffrant de troubles mentaux sous-jacents, donnant lieu à un phénomène souvent qualifié de « psychose du chatbot ». Matthew Raine et Megan Garcia, qui ont perdu leurs fils dans des incidents liés à l’IA, ont porté plainte contre OpenAI pour avoir encouragé ce type de relations avec ChatGPT. Bien que les systèmes d'informatique affective présentent de nombreuses applications potentielles, certaines d'entre elles soulèvent des questions d'éthique au sein de la communauté scientifique. Leur utilisation pourrait permettre d'analyser les expressions faciales des individus en public sans leur consentement explicite. Il existe également un risque de manipulation des émotions du public. De plus, les systèmes d'aide à autrui peuvent engendrer de légers risques (comme le fait de susciter des émotions déconnectées de la réalité). Les chercheurs s'inquiètent également des effets psychologiques potentiels de l'informatique affective utilisée dans un contexte sexuel (par exemple, les poupées sexuelles robotisées), bien qu'aucune preuve ne vienne étayer ces affirmations à ce jour. Les utilisateurs de systèmes d'informatique affective leur font davantage confiance lorsqu'un contrat éthique est établi entre le système et l'utilisateur. relations homme-machine
Éthique