Exemples d'exploration de données

L'exploration de données , le processus de découverte de modèles dans de grands ensembles de données , a été utilisé dans de nombreuses applications.

En affaires, l'exploration de données est l'analyse des activités commerciales historiques, stockées sous forme de données statiques dans des bases de données d'entrepôt de données. L'objectif est de révéler des modèles et des tendances cachés. Les logiciels d'exploration de données utilisent des algorithmes avancés de reconnaissance de modèles pour passer au crible de grandes quantités de données afin de découvrir des informations commerciales stratégiques jusqu'alors inconnues. Les entreprises utilisent notamment l'exploration de données pour effectuer des analyses de marché afin d'identifier de nouveaux produits, de trouver la cause profonde des problèmes de fabrication, d'éviter l'attrition des clients et d'en acquérir de nouveaux, de réaliser des ventes croisées aux clients existants et de profiler les clients avec plus de précision.

• Dans le monde d'aujourd'hui, les entreprises collectent des données brutes à un rythme effréné. Par exemple, Walmart traite plus de 20 millions de transactions aux points de vente chaque jour. Ces informations sont stockées dans une base de données centralisée, mais seraient inutiles sans un logiciel d'exploration de données pour les analyser. Si Walmart analysait ses données aux points de vente à l'aide de techniques d'exploration de données, elle serait en mesure de déterminer les tendances des ventes, de développer des campagnes marketing et de prédire avec plus de précision la fidélité des clients.
• La catégorisation des articles disponibles sur le site de commerce électronique est un problème fondamental. Un système de catégorisation d'articles correct est essentiel pour l'expérience utilisateur car il permet de déterminer les articles pertinents pour lui pour la recherche et la navigation. La catégorisation des articles peut être formulée comme un problème de classification supervisée dans l'exploration de données où les catégories sont les classes cibles et les caractéristiques sont les mots composant une description textuelle des articles. L'une des approches consiste à trouver initialement des groupes similaires et à les placer ensemble dans un groupe latent. Maintenant, étant donné un nouvel article, classez-le d'abord dans un groupe latent appelé classification de niveau grossier. Ensuite, effectuez un deuxième tour de classification pour trouver la catégorie à laquelle appartient l'article.
• Chaque fois qu'une carte de crédit ou une carte de fidélité d'un magasin est utilisée, ou qu'une carte de garantie est remplie, des données sont collectées sur le comportement de l'utilisateur. De nombreuses personnes trouvent la quantité d'informations stockées à notre sujet par des entreprises telles que Google, Facebook et Amazon dérangeante et s'inquiètent de la confidentialité. Bien qu'il existe un risque que nos données personnelles soient utilisées de manière nuisible ou indésirable, elles sont également utilisées pour améliorer notre vie. Par exemple, Ford et Audi espèrent un jour collecter des informations sur les habitudes de conduite de leurs clients afin de pouvoir recommander des itinéraires plus sûrs et avertir les conducteurs des conditions routières dangereuses.
• L'exploration de données dans les applications de gestion de la relation client peut contribuer de manière significative au résultat net. Plutôt que de contacter au hasard un prospect ou un client via un centre d'appels ou d'envoyer un courrier, une entreprise peut concentrer ses efforts sur les prospects qui sont censés avoir une forte probabilité de répondre à une offre. Des méthodes plus sophistiquées peuvent être utilisées pour optimiser les ressources dans les campagnes afin de pouvoir prédire à quel canal et à quelle offre un individu est le plus susceptible de répondre (parmi toutes les offres potentielles). De plus, des applications sophistiquées peuvent être utilisées pour automatiser le mailing. Une fois les résultats de l'exploration de données (prospect/client potentiel et canal/offre) déterminés, cette « application sophistiquée » peut envoyer automatiquement un e-mail ou un courrier ordinaire. Enfin, dans les cas où de nombreuses personnes entreprennent une action sans offre, la « modélisation de l'augmentation » peut être utilisée pour déterminer quelles personnes ont la plus grande augmentation de réponse si elles reçoivent une offre. La modélisation de l'augmentation permet ainsi aux spécialistes du marketing de concentrer les mailings et les offres sur les personnes persuadées, et de ne pas envoyer d'offres à des personnes qui achèteront le produit sans offre. Le clustering de données peut également être utilisé pour découvrir automatiquement les segments ou les groupes au sein d'un ensemble de données client.
• Les entreprises qui ont recours à l'exploration de données peuvent constater un retour sur investissement, mais elles reconnaissent également que le nombre de modèles prédictifs peut rapidement devenir très important. Par exemple, plutôt que d'utiliser un modèle pour prédire le nombre de clients qui vont quitter leur entreprise , une entreprise peut choisir de créer un modèle distinct pour chaque région et type de client. Dans les situations où un grand nombre de modèles doivent être maintenus, certaines entreprises se tournent vers des méthodologies d'exploration de données plus automatisées.
• L’exploration de données peut être utile aux services des ressources humaines (RH) pour identifier les caractéristiques de leurs employés les plus performants. Les informations obtenues – telles que les universités fréquentées par les employés les plus performants – peuvent aider les RH à cibler les efforts de recrutement en conséquence. De plus, les applications de gestion stratégique d’entreprise aident une entreprise à traduire les objectifs au niveau de l’entreprise, tels que les objectifs de partage des bénéfices et des marges, en décisions opérationnelles, telles que les plans de production et les niveaux d’effectifs.
• L’exploration de données peut être utile aux organisations. L’exploration de données organisationnelles (ODM) est définie comme l’exploitation des outils et technologies d’exploration de données (DM) pour améliorer le processus de prise de décision organisationnelle en transformant les données en connaissances précieuses et exploitables afin d’obtenir un avantage concurrentiel stratégique et commercial. Les données obtenues – telles que les taux de rotation du personnel – peuvent aider les organisations à concentrer leurs efforts de rétention en conséquence. De plus, les applications d’exploration et d’analyse de données de gestion des performances organisationnelles aident les entreprises à traduire les objectifs au niveau de l’entreprise, tels que les objectifs de profit et de vente, en décisions opérationnelles, en tant qu’indicateurs clés de performance des travailleurs et niveaux d’effort mesurés requis.
• L'analyse du panier d'achat a été utilisée pour identifier les habitudes d'achat du consommateur Alpha . L'analyse des données collectées sur ce type d'utilisateur a permis aux entreprises de prédire les tendances d'achat futures et de prévoir les demandes d'approvisionnement.
• L'exploration de données est un outil très efficace dans le secteur du marketing par catalogue. Les catalogueurs disposent d'une riche base de données contenant l'historique des transactions de leurs clients pour des millions de clients remontant à plusieurs années. Les outils d'exploration de données peuvent identifier des modèles parmi les clients et aider à identifier les clients les plus susceptibles de répondre aux prochaines campagnes de mailing.
• L'exploration de données pour les applications commerciales peut être intégrée dans un processus complexe de modélisation et de prise de décision. LIONsolver utilise la veille stratégique réactive (RBI) pour préconiser une approche « holistique » qui intègre l'exploration de données, la modélisation et la visualisation interactive dans un processus de découverte de bout en bout et d'innovation continue alimenté par l'apprentissage humain et automatisé.
• Dans le domaine de la prise de décision , l'approche RBI a été utilisée pour exploiter les connaissances progressivement acquises auprès du décideur, puis pour auto-ajuster la méthode de décision en conséquence. La relation entre la qualité d'un système d'exploration de données et le montant de l'investissement que le décideur est prêt à faire a été formalisée en fournissant une perspective économique sur la valeur des « connaissances extraites » en termes de rentabilité pour l'organisation Ce cadre de classification théorique de la décision a été appliqué à une ligne de fabrication de plaquettes de semi-conducteurs du monde réel, où des règles de décision pour surveiller et contrôler efficacement la ligne de fabrication de plaquettes de semi-conducteurs ont été développées.
• Un exemple d'exploration de données lié à une ligne de production de circuits intégrés (CI) est décrit dans l'article « Exploitation de données de test de CI pour optimiser les tests VLSI ». Dans cet article, l'application de l'exploration de données et de l'analyse de décision au problème des tests fonctionnels au niveau de la puce est décrite. Les expériences mentionnées démontrent la capacité d'appliquer un système d'exploration de données de test de puce historiques pour créer un modèle probabiliste de modèles de défaillance de puce. Ces modèles sont ensuite utilisés pour décider, en temps réel, quelle puce tester ensuite et quand arrêter les tests. Il a été démontré, sur la base d'expériences avec des données de test historiques, que ce système a le potentiel d'améliorer les profits sur les produits de CI matures. D'autres exemples de l'application de méthodologies d'exploration de données dans des environnements de fabrication de semi-conducteurs suggèrent que les méthodologies d'exploration de données peuvent être particulièrement utiles lorsque les données sont rares et que les divers paramètres physiques et chimiques qui affectent le processus présentent des interactions très complexes. Une autre implication est que la surveillance en ligne du processus de fabrication de semi-conducteurs à l'aide de l'exploration de données peut être très efficace.

Ces dernières années, l’exploration de données a été largement utilisée dans les domaines de la science et de l’ingénierie, tels que la bioinformatique , la génétique , la médecine , l’éducation et l’ingénierie électrique .

• Dans l'étude de la génétique humaine, l'exploration de séquences permet de répondre à l'objectif important de comprendre la relation de cartographie entre les variations interindividuelles de la séquence d'ADN humain et la variabilité de la susceptibilité aux maladies. En termes simples, elle vise à découvrir comment les changements dans la séquence d'ADN d'un individu affectent les risques de développer des maladies courantes telles que le cancer , ce qui est d'une grande importance pour améliorer les méthodes de diagnostic, de prévention et de traitement de ces maladies. Une méthode d'exploration de données utilisée pour effectuer cette tâche est connue sous le nom de réduction de la dimensionnalité multifactorielle .
• Dans le domaine de l'ingénierie électrique, les méthodes d'exploration de données ont été largement utilisées pour la surveillance de l'état des équipements électriques haute tension. Le but de la surveillance de l'état est d'obtenir des informations précieuses sur, par exemple, l'état de l' isolation (ou d'autres paramètres importants liés à la sécurité). Les techniques de regroupement de données , telles que la carte auto-organisatrice (SOM), ont été appliquées à la surveillance et à l'analyse des vibrations des changeurs de prises en charge des transformateurs (OLTCS). En utilisant la surveillance des vibrations, on peut observer que chaque opération de changement de prise génère un signal qui contient des informations sur l'état des contacts du changeur de prises et des mécanismes d'entraînement. De toute évidence, différentes positions de prise génèrent des signaux différents. Cependant, il existe une variabilité considérable entre les signaux de condition normale pour exactement la même position de prise. La SOM a été appliquée pour détecter des conditions anormales et pour émettre des hypothèses sur la nature de ces anomalies.
• Les méthodes d'exploration de données ont été appliquées à l'analyse des gaz dissous (DGA) dans les transformateurs de puissance . La DGA, en tant que diagnostic pour les transformateurs de puissance, est disponible depuis de nombreuses années. Des méthodes telles que SOM ont été appliquées pour analyser les données générées et pour déterminer les tendances qui ne sont pas évidentes pour les méthodes de ratio DGA standard (telles que le triangle de Duval).
• Dans la recherche en éducation, l'exploration de données a été utilisée pour étudier les facteurs qui conduisent les étudiants à choisir des comportements qui réduisent leur apprentissage, et pour comprendre les facteurs qui influencent la rétention des étudiants à l'université. Un exemple similaire d'application sociale de l'exploration de données est son utilisation dans les systèmes de recherche d'expertise , par lesquels les descripteurs de l'expertise humaine sont extraits, normalisés et classés de manière à faciliter la recherche d'experts, en particulier dans les domaines scientifiques et techniques. De cette façon, l'exploration de données peut faciliter la mémoire institutionnelle .
• Méthodes d'exploration de données biomédicales facilitées par des ontologies de domaine , l'exploration de données d'essais cliniques, et l'analyse du trafic à l'aide de SOM.
• Dans le cadre de la surveillance des effets indésirables des médicaments, le Centre de surveillance d'Uppsala utilise depuis 1998 des méthodes d'exploration de données pour rechercher systématiquement des modèles de signalement indiquant des problèmes émergents de sécurité des médicaments dans la base de données mondiale de l'OMS sur 4,6 millions d'incidents suspectés d'effets indésirables des médicaments . Récemment, une méthodologie similaire a été développée pour exploiter de vastes collections de dossiers médicaux électroniques pour rechercher des modèles temporels associant les prescriptions de médicaments aux diagnostics médicaux.
• L'exploration de données a été appliquée aux artefacts logiciels dans le domaine de l'ingénierie logicielle : l'exploration de référentiels de logiciels .
• Dans le domaine de la microbiologie, des méthodes d’exploration de données ont été utilisées pour prédire le comportement des populations de bactéries dans les aliments.

L’exploration de données des dossiers gouvernementaux – en particulier des dossiers du système judiciaire (c’est-à-dire des tribunaux, des prisons) – permet de découvrir des violations systémiques des droits de l’homme liées à la production et à la publication de dossiers juridiques invalides ou frauduleux par diverses agences gouvernementales.

Certains algorithmes d'apprentissage automatique peuvent être appliqués dans le domaine médical comme outils de diagnostic de deuxième avis et comme outils pour la phase d'extraction de connaissances dans le processus de découverte de connaissances dans les bases de données . L'un de ces classificateurs (appelé Prototype exemplar learning classifier (PEL-C) est capable de découvrir des syndromes ainsi que des cas cliniques atypiques.

Un domaine médical actuel qui utilise le processus d'exploration de données est la métabolomique , qui est l'investigation et l'étude des molécules biologiques et de la manière dont leur interaction avec les fluides corporels, les cellules, les tissus, etc. est caractérisée. La métabolomique est un sujet très riche en données et implique souvent de passer au crible d'énormes quantités de données non pertinentes avant de tirer des conclusions. L'exploration de données a permis à ce domaine relativement nouveau de la recherche médicale de se développer considérablement au cours de la dernière décennie, et sera probablement la méthode par laquelle de nouvelles recherches seront menées dans ce domaine.

En 2011, l’affaire Sorrell c. IMS Health, Inc. , jugée par la Cour suprême des États-Unis , a statué que les pharmacies peuvent partager des informations avec des entreprises extérieures. Cette pratique a été autorisée par le 1er amendement de la Constitution , qui protège la « liberté d’expression ». Cependant, l’adoption de la loi sur les technologies de l’information sanitaire pour la santé économique et clinique (HITECH Act) a contribué à lancer l’adoption du dossier médical électronique (DME) et de la technologie de soutien aux États-Unis. La loi HITECH a été promulguée le 17 février 2009 dans le cadre de l’American Recovery and Reinvestment Act (ARRA) et a contribué à ouvrir la voie à l’exploration de données médicales. Avant la signature de cette loi, on estime que seulement 20 % des médecins basés aux États-Unis utilisaient des dossiers médicaux électroniques. Søren Brunak note que « le dossier médical devient aussi riche en informations que possible » et « maximise ainsi les opportunités d’exploration de données ». Par conséquent, les dossiers médicaux électroniques élargissent encore les possibilités en matière d’exploration de données médicales, ouvrant ainsi la porte à une vaste source d’analyse de données médicales.

L'exploration de données spatiales est l'application des méthodes d'exploration de données aux données spatiales. L'objectif final de l'exploration de données spatiales est de trouver des modèles dans les données par rapport à la géographie. Jusqu'à présent, l'exploration de données et les systèmes d'information géographique (SIG) ont existé en tant que deux technologies distinctes, chacune avec ses propres méthodes, traditions et approches de visualisation et d'analyse des données. En particulier, la plupart des SIG contemporains n'ont que des fonctionnalités d'analyse spatiale très basiques. L'immense explosion des données référencées géographiquement occasionnée par les développements de l'informatique, de la cartographie numérique, de la télédétection et la diffusion mondiale des SIG souligne l'importance de développer des approches inductives basées sur les données pour l'analyse et la modélisation géographiques.

L'exploration de données offre de nombreux avantages potentiels pour la prise de décision appliquée basée sur les SIG. Récemment, l'intégration de ces deux technologies est devenue d'une importance cruciale, en particulier à l'heure où diverses organisations des secteurs public et privé possédant d'énormes bases de données contenant des données thématiques et géographiques commencent à prendre conscience de l'énorme potentiel des informations qu'elles contiennent. Parmi ces organisations, on trouve :

• Bureaux nécessitant l'analyse ou la diffusion de données statistiques géoréférencées
• Les services de santé publique à la recherche d'explications sur la concentration des maladies
• Les agences environnementales évaluent l'impact des changements d'utilisation des terres sur le changement climatique
• Sociétés de géomarketing effectuant une segmentation de la clientèle en fonction de la localisation spatiale.

Défis de l'exploration spatiale : les référentiels de données géospatiales ont tendance à être très volumineux. De plus, les ensembles de données SIG existants sont souvent fragmentés en composants d'entités et d'attributs qui sont traditionnellement archivés dans des systèmes de gestion de données hybrides. Les exigences algorithmiques diffèrent considérablement pour la gestion des données relationnelles (attributs) et pour la gestion des données topologiques (entités). À cela s'ajoute la diversité des formats de données géographiques, qui présentent des défis uniques. La révolution des données géographiques numériques crée de nouveaux types de formats de données au-delà des formats traditionnels « vectoriels » et « raster ». Les référentiels de données géographiques incluent de plus en plus de données mal structurées, telles que des images et des multimédias géoréférencés.

La découverte de connaissances géographiques et l'exploration de données posent plusieurs défis de recherche cruciaux. Miller et Han proposent la liste suivante de sujets de recherche émergents dans ce domaine :

• Développer et prendre en charge des entrepôts de données géographiques (GDW) : les propriétés spatiales sont souvent réduites à de simples attributs aspatiaux dans les entrepôts de données classiques. La création d'un GDW intégré nécessite de résoudre les problèmes d'interopérabilité des données spatiales et temporelles, notamment les différences de sémantique, de systèmes de référencement, de géométrie, de précision et de position.
• De meilleures représentations spatio-temporelles dans la découverte de connaissances géographiques : Les méthodes actuelles de découverte de connaissances géographiques (GKD) utilisent généralement des représentations très simples des objets géographiques et des relations spatiales. Les méthodes d'exploration de données géographiques devraient reconnaître des objets géographiques plus complexes (c'est-à-dire des lignes et des polygones) et des relations (c'est-à-dire des distances non euclidiennes, la direction, la connectivité et l'interaction via un espace géographique attribué tel que le terrain). De plus, la dimension temporelle doit être plus pleinement intégrée dans ces représentations et relations géographiques.
• Découverte de connaissances géographiques à l'aide de divers types de données : des méthodes GKD devraient être développées pour pouvoir gérer divers types de données au-delà des modèles raster et vectoriels traditionnels, y compris l'imagerie et le multimédia géoréférencé, ainsi que les types de données dynamiques (flux vidéo, animation).

Les données peuvent contenir des attributs générés et enregistrés à des moments différents. Dans ce cas, la recherche de relations significatives dans les données peut nécessiter de prendre en compte l'ordre temporel des attributs. Une relation temporelle peut indiquer une relation de cause à effet ou simplement une association.

Les réseaux de capteurs sans fil peuvent être utilisés pour faciliter la collecte de données pour l'exploration de données spatiales pour une variété d'applications telles que la surveillance de la pollution atmosphérique. Une caractéristique de ces réseaux est que les nœuds de capteurs proches surveillant une caractéristique environnementale enregistrent généralement des valeurs similaires. Ce type de redondance des données due à la corrélation spatiale entre les observations des capteurs inspire les techniques d'agrégation et d'exploration de données en réseau. En mesurant la corrélation spatiale entre les données échantillonnées par différents capteurs, une large classe d'algorithmes spécialisés peut être développée pour développer des algorithmes d'exploration de données spatiales plus efficaces.

Au cours du processus de transition de l'analogique vers le numérique, de grands ensembles de données ont été générés, collectés et stockés, découvrant des modèles statistiques, des tendances et des informations cachées dans les données, afin de créer des modèles prédictifs. Des études suggèrent que l'exploration de données visuelles est plus rapide et beaucoup plus intuitive que l'exploration de données traditionnelle. Voir également Vision par ordinateur .

Les techniques d'exploration de données, et en particulier l'analyse de cooccurrence , ont été utilisées pour découvrir des similitudes pertinentes entre des corpus musicaux (listes de radio, bases de données de CD) à des fins telles que la classification de la musique en genres de manière plus objective.

Le gouvernement américain a déjà eu recours à l'exploration de données. Parmi ces programmes, on peut citer le programme Total Information Awareness (TIA), Secure Flight (anciennement connu sous le nom de Computer-Assisted Passenger Prescreening System ( CAPPS II )), Analysis, Dissemination, Visualization, Insight, Semantic Enhancement ( ADVISE ) et le Multi-state Anti-Terrorism Information Exchange ( MATRIX ) . Ces programmes ont été abandonnés en raison de la controverse sur leur éventuelle violation du 4e amendement de la Constitution des États-Unis, bien que de nombreux programmes qui ont été créés dans leur cadre continuent d'être financés par différentes organisations ou sous des noms différents

Dans le contexte de la lutte contre le terrorisme, deux méthodes d’exploration de données particulièrement plausibles sont le « pattern mining » et le « subject-based data mining ».

Le « pattern mining » est une méthode d'exploration de données qui consiste à trouver des modèles existants dans les données. Dans ce contexte , les modèles désignent souvent des règles d'association . La motivation initiale de la recherche de règles d'association est venue du désir d'analyser les données de transaction des supermarchés, c'est-à-dire d'examiner le comportement des clients en fonction des produits achetés. Par exemple, une règle d'association « bière ⇒ chips (80 %) » indique que quatre clients sur cinq qui ont acheté de la bière ont également acheté des chips.

Dans le contexte de l'exploration de modèles comme outil d'identification d'activité terroriste, le National Research Council fournit la définition suivante : « L'exploration de données basée sur des modèles recherche des modèles (y compris des modèles de données anormaux) qui pourraient être associés à une activité terroriste - ces modèles peuvent être considérés comme de petits signaux dans un grand océan de bruit. » L'exploration de modèles comprend de nouveaux domaines tels que la recherche d'informations musicales (MIR) où les modèles observés à la fois dans les domaines temporel et non temporel sont importés dans les méthodes classiques de recherche de découverte de connaissances.

L'exploration de données par sujet est une méthode d'exploration de données impliquant la recherche d'associations entre individus dans les données. Dans le contexte de la lutte contre le terrorisme, le Conseil national de recherche fournit la définition suivante : « L'exploration de données par sujet utilise un individu initiateur ou une autre donnée considérée, sur la base d'autres informations, comme présentant un intérêt élevé, et l'objectif est de déterminer quelles autres personnes ou transactions ou mouvements financiers, etc., sont liés à cette donnée initiatrice. »

La découverte de connaissances « sur la grille » fait généralement référence à la réalisation de découvertes de connaissances dans un environnement ouvert en utilisant des concepts de calcul en grille , permettant aux utilisateurs d'intégrer des données provenant de diverses sources de données en ligne, ainsi que d'utiliser des ressources distantes, pour exécuter leurs tâches d'exploration de données. Le premier exemple est le Discovery Net , développé à l'Imperial College de Londres , qui a remporté le « Most Innovative Data-Intensive Application Award » lors de la conférence et exposition ACM SC02 (Supercomputing 2002), sur la base d'une démonstration d'une application de découverte de connaissances distribuée entièrement interactive pour une application bioinformatique. D'autres exemples incluent les travaux menés par des chercheurs de l' Université de Calabre , qui ont développé une architecture de grille de connaissances pour la découverte de connaissances distribuées, basée sur le calcul en grille .