Worldlex Wiki Le terme « exploration de données » est impropre, car son objectif est l’extraction de modèles et de connaissances à partir de vastes ensembles de données, et non l’ extraction ( ou l’exploration ) des données elles-mêmes . Il s’agit également d’un terme à la mode , souvent employé pour désigner toute forme de traitement de données ou d’informations à grande échelle ( collecte , extraction , entreposage , analyse et statistiques), ainsi que toute application de systèmes informatiques d’aide à la décision , y compris l’intelligence artificielle (par exemple, l’apprentissage automatique) et l’informatique décisionnelle . Les termes plus généraux d’analyse et d’analyse de données ( à grande échelle ) , ou encore, lorsqu’il s’agit de méthodes concrètes, d’intelligence artificielle et d’apprentissage automatique , sont souvent plus appropriés.
L'exploration de données proprement dite consiste en l'analyse semi- automatique ou automatique de volumes massifs de données afin d'en extraire des modèles intéressants et jusque-là inconnus, tels que des groupes d'enregistrements ( analyse de clusters ), des enregistrements atypiques ( détection d'anomalies ) et des dépendances ( extraction de règles d'association , extraction de motifs séquentiels ). Cette opération fait généralement appel à des techniques de bases de données, comme les index spatiaux . Ces modèles peuvent alors être considérés comme un résumé des données d'entrée et utilisés dans des analyses ultérieures ou, par exemple, dans l'apprentissage automatique et l'analyse prédictive . Par exemple, l'exploration de données peut identifier plusieurs groupes dans les données, qui peuvent ensuite être utilisés pour obtenir des prédictions plus précises grâce à un système d'aide à la décision . La collecte, la préparation, l'interprétation et la présentation des résultats ne font pas partie de l'exploration de données, bien qu'elles constituent des étapes supplémentaires du processus global d'extraction de connaissances à partir des données (KDD).
La différence entre l'analyse de données et l'exploration de données réside dans le fait que l'analyse de données sert à tester des modèles et des hypothèses sur un ensemble de données, par exemple pour analyser l'efficacité d'une campagne marketing , quelle que soit la quantité de données. En revanche, l'exploration de données utilise l'apprentissage automatique et des modèles statistiques pour révéler des tendances cachées ou sous-jacentes dans un grand volume de données.
Les termes apparentés « exploration de données » , « pêche aux données » et « analyse des données » désignent l'utilisation de méthodes d'exploration de données pour échantillonner des parties d'un ensemble de données populationnel plus vaste, parties qui sont (ou peuvent être) trop petites pour permettre des inférences statistiques fiables quant à la validité des tendances observées. Ces méthodes peuvent toutefois servir à formuler de nouvelles hypothèses à tester sur des populations de données plus importantes.
a priori . Le terme « exploration de données » a été utilisé de manière tout aussi critique par l’économiste Michael Lovell dans un article publié dans la Review of Economic Studies en 1983. Lovell indique que cette pratique « se dissimule sous divers pseudonymes, allant de l’« expérimentation » (positif) à la « pêche » ou à l’« espionnage » (négatif). »Le terme « exploration de données » est apparu vers 1990 dans le milieu des bases de données, avec des connotations généralement positives. Dans les années 1980, l'expression « exploration de bases de données »™ a été brièvement utilisée, mais comme elle a été déposée par HNC, une entreprise de San Diego , pour promouvoir sa station de travail d'exploration de bases de données , les chercheurs se sont tournés vers l'expression « exploration de données » . Parmi les autres termes utilisés, on trouve l'archéologie des données , la collecte d'informations , la découverte d'informations , l'extraction de connaissances , etc. Gregory Piatetsky-Shapiro a forgé l'expression « découverte de connaissances dans les bases de données » lors du premier atelier consacré à ce sujet (KDD-1989) , et ce terme s'est popularisé dans les communautés de l'IA et de l'apprentissage automatique . Cependant, l'expression « exploration de données » est devenue plus courante dans les milieux d'affaires et de la presse . Actuellement, les termes « exploration de données » et « découverte de connaissances » sont utilisés indifféremment.
Arrière-plan
L'extraction manuelle de modèles à partir de données est une pratique ancestrale. Parmi les premières méthodes d'identification de modèles figurent le théorème de Bayes (XVIIIe siècle) et l'analyse de régression (XIXe siècle) . La prolifération, l'omniprésence et la puissance croissante de l'informatique ont considérablement accru les capacités de collecte, de stockage et de manipulation des données. Face à l'augmentation de la taille et de la complexité des ensembles de données , l'analyse directe et manuelle est de plus en plus complétée par un traitement indirect et automatisé, grâce aux avancées de l'informatique, notamment dans le domaine de l'apprentissage automatique, telles que les réseaux de neurones , l'analyse de clusters , les algorithmes génétiques (années 1950), les arbres de décision et les règles de décision (années 1960), et les machines à vecteurs de support (années 1990). L'exploration de données consiste à appliquer ces méthodes afin de révéler des modèles cachés dans de vastes ensembles de données. Elle comble le fossé entre les statistiques appliquées et l'intelligence artificielle (qui fournissent généralement le cadre mathématique) et la gestion de bases de données en exploitant la manière dont les données sont stockées et indexées dans les bases de données pour exécuter plus efficacement les algorithmes d'apprentissage et de découverte proprement dits, permettant ainsi d'appliquer ces méthodes à des ensembles de données toujours plus volumineux.
Processus
Le processus de découverte de connaissances dans les bases de données (KDD) est généralement défini par les étapes suivantes :
- Sélection
- Prétraitement
- Transformation
- Exploration de données
- Interprétation/évaluation.
Il existe cependant de nombreuses variantes sur ce thème, comme le processus standard intersectoriel d'exploration de données (CRISP-DM) qui définit six phases :
- Compréhension des affaires
- Compréhension des données
- Préparation des données
- Modélisation
- Évaluation
- Déploiement
ou un processus simplifié tel que (1) le prétraitement, (2) l'exploration des données et (3) la validation des résultats.
Des sondages menés en 2002, 2004, 2007 et 2014 montrent que la méthodologie CRISP-DM est la méthodologie la plus utilisée par les spécialistes du forage de données.
La seule autre norme d'exploration de données mentionnée dans ces sondages était SEMMA . Cependant, 3 à 4 fois plus de personnes ont déclaré utiliser CRISP-DM. Plusieurs équipes de chercheurs ont publié des revues de modèles de processus d'exploration de données , et Azevedo et Santos ont effectué une comparaison de CRISP-DM et SEMMA en 2008.
Prétraitement
Avant d'utiliser des algorithmes d'exploration de données, il est nécessaire de constituer un jeu de données cible. L'exploration de données ne pouvant révéler que les tendances présentes dans les données, le jeu de données cible doit être suffisamment volumineux pour contenir ces tendances, tout en restant suffisamment concis pour être analysé dans un délai acceptable. Un entrepôt de données ou un data mart constitue une source courante de données . Le prétraitement est essentiel pour analyser les jeux de données multivariés avant l'exploration. Le jeu de données cible est ensuite nettoyé. Le nettoyage des données consiste à supprimer les observations aberrantes et celles comportant des données manquantes .
Exploration de données
L’exploration de données comprend six classes de tâches communes :
- Détection d'anomalies (détection de valeurs aberrantes/de changements/d'écarts) – L'identification d'enregistrements de données inhabituels, qui pourraient être intéressants, ou d'erreurs de données qui nécessitent une enquête plus approfondie parce qu'elles sont hors des limites standard.
- L'apprentissage des règles d'association (modélisation des dépendances) permet de rechercher les relations entre les variables. Par exemple, un supermarché peut collecter des données sur les habitudes d'achat de ses clients. Grâce à l'apprentissage des règles d'association, il peut déterminer quels produits sont fréquemment achetés ensemble et utiliser cette information à des fins marketing. On parle alors d' analyse du panier d'achat .
- Le clustering consiste à découvrir dans les données des groupes et des structures qui sont d'une manière ou d'une autre « similaires », sans utiliser de structures connues dans les données.
- La classification consiste à généraliser une structure connue pour l'appliquer à de nouvelles données. Par exemple, un logiciel de messagerie peut tenter de classer un courriel comme « légitime » ou comme « spam ».
- La régression vise à trouver une fonction qui modélise les données avec le moins d'erreur possible, c'est-à-dire à estimer les relations entre les données ou les ensembles de données.
- Synthèse – présentation plus compacte des données, incluant la visualisation et la génération de rapports.
Validation des résultats
L’exploration de données peut être involontairement mal utilisée, produisant des résultats qui semblent significatifs mais qui, en réalité, ne permettent pas de prédire les comportements futurs et ne sont pas reproductibles sur un nouvel échantillon de données, ce qui les rend peu utiles. Ce problème est parfois dû à l’exploration d’un trop grand nombre d’hypothèses sans réalisation de tests statistiques appropriés . Une version simplifiée de ce problème en apprentissage automatique est connue sous le nom de surapprentissage , mais ce même problème peut survenir à différentes phases du processus et, par conséquent, une division en ensembles d’entraînement et de test – lorsqu’elle est applicable – peut ne pas suffire à l’empêcher.
La dernière étape de l'extraction de connaissances à partir des données consiste à vérifier que les modèles produits par les algorithmes d'exploration de données se retrouvent dans l'ensemble de données global. Tous les modèles identifiés par les algorithmes ne sont pas nécessairement valides. Il est fréquent que les algorithmes d'exploration de données trouvent dans l'ensemble d'entraînement des modèles absents de l'ensemble de données global. Ce phénomène est appelé surapprentissage . Pour y remédier, l'évaluation utilise un ensemble de test constitué de données sur lesquelles l'algorithme d'exploration de données n'a pas été entraîné. Les modèles appris sont appliqués à cet ensemble de test, et le résultat obtenu est comparé au résultat attendu. Par exemple, un algorithme d'exploration de données cherchant à distinguer les courriels indésirables des courriels légitimes serait entraîné sur un ensemble d'entraînement d'exemples de courriels. Une fois entraîné, les modèles appris seraient appliqués à l'ensemble de test de courriels sur lequel l'algorithme n'a pas été entraîné. La précision des modèles peut alors être mesurée en fonction du nombre de courriels correctement classés. Plusieurs méthodes statistiques peuvent être utilisées pour évaluer l'algorithme, telles que les courbes ROC .
Si les modèles appris ne répondent pas aux critères souhaités, il est nécessaire de réévaluer et de modifier les étapes de prétraitement et d'exploration des données. S'ils y répondent, la dernière étape consiste à les interpréter et à les transformer en connaissances.
Recherche
La principale organisation professionnelle dans ce domaine est le groupe d'intérêt spécial (SIG) sur la découverte des connaissances et l'exploration des données ( SIGKDD ) de l'Association for Computing Machinery (ACM) . Depuis 1989, ce SIG de l'ACM organise une conférence internationale annuelle et publie ses actes, et depuis 1999, il publie une revue académique semestrielle intitulée « SIGKDD Explorations ».
Les conférences en informatique sur l'exploration de données comprennent :
- Conférence CIKM – Conférence ACM sur la gestion de l'information et des connaissances
- Conférence européenne sur l'apprentissage automatique et les principes et pratiques de la découverte des connaissances dans les bases de données
- Conférence KDD – Conférence ACM SIGKDD sur la découverte des connaissances et l'exploration des données
Les sujets liés à l'exploration de données sont également présents dans de nombreuses conférences sur la gestion des données/bases de données telles que la conférence ICDE, la conférence SIGMOD et la Conférence internationale sur les très grandes bases de données.
normes
Des efforts ont été déployés pour définir des normes pour le processus d'exploration de données, comme par exemple la norme européenne intersectorielle de 1999 (CRISP-DM 1.0) et la norme Java d'exploration de données de 2004 (JDM 1.0). Le développement de leurs successeurs (CRISP-DM 2.0 et JDM 2.0) était actif en 2006, mais est au point mort depuis. JDM 2.0 a été retiré sans avoir abouti à une version finale.
Pour l’échange des modèles extraits — notamment pour leur utilisation en analyse prédictive —, la norme de référence est le Predictive Model Markup Language (PMML), un langage XML développé par le Data Mining Group (DMG) et pris en charge comme format d’échange par de nombreuses applications d’exploration de données. Comme son nom l’indique, il ne couvre que les modèles de prédiction, une tâche d’exploration de données essentielle pour les applications métier. Cependant, des extensions, permettant par exemple de prendre en charge le clustering de sous-espaces, ont été proposées indépendamment du DMG.
Utilisations notables
Questions de confidentialité et d'éthique
Bien que le terme « exploration de données » en lui-même n’ait pas d’implications éthiques, il est souvent associé à l’extraction d’informations relatives au comportement des utilisateurs (éthiques et autres).
Les différentes manières dont l’exploration de données peut être utilisée peuvent, dans certains cas et contextes, soulever des questions relatives à la protection de la vie privée , à la légalité et à l’éthique . En particulier, l’exploration de données gouvernementales ou commerciales à des fins de sécurité nationale ou de maintien de l’ordre , comme dans le cadre du programme Total Information Awareness ou d’ ADVISE , a suscité des inquiétudes quant au respect de la vie privée.
L'exploration de données nécessite une préparation des données qui révèle des informations ou des tendances susceptibles de compromettre la confidentialité et le respect de la vie privée . L' agrégation de données est une méthode courante pour y parvenir . Elle consiste à combiner des données (éventuellement issues de sources diverses) de manière à faciliter l'analyse (mais aussi à rendre possible l'identification de données privées, au niveau individuel). La menace qui pèse sur la vie privée d'un individu se manifeste lorsque les données, une fois compilées, permettent à l'explorateur de données, ou à toute personne ayant accès à cet ensemble de données, d'identifier des individus, notamment lorsque les données étaient initialement anonymisées.
Les données peuvent également être modifiées afin de devenir anonymes, de sorte que les individus ne puissent pas être facilement identifiés. Cependant, même les ensembles de données « anonymisés » peuvent potentiellement contenir suffisamment d’informations pour permettre l’identification d’individus, comme cela s’est produit lorsque des journalistes ont pu retrouver plusieurs personnes à partir d’un ensemble d’historiques de recherche qui ont été publiés par inadvertance par AOL .
La divulgation involontaire d' informations personnelles permettant d'identifier le fournisseur constitue une violation des principes de protection des données. Cette indiscrétion peut causer un préjudice financier, émotionnel ou physique à la personne concernée. À titre d'exemple , en 2011, des clients de Walgreens ont porté plainte contre l'entreprise pour avoir vendu leurs données de prescription à des sociétés d'exploration de données, lesquelles les ont ensuite transmises à des entreprises pharmaceutiques.
Situation en Europe
L’Europe dispose de lois relativement strictes en matière de protection de la vie privée, et des efforts sont déployés pour renforcer davantage les droits des consommateurs. Toutefois, les principes de la sphère de sécurité UE-États-Unis , élaborés entre 1998 et 2000, exposent actuellement les utilisateurs européens à l’exploitation de leur vie privée par des entreprises américaines. Suite aux révélations d’ Edward Snowden sur la surveillance mondiale , le débat s’est intensifié quant à la révocation de cet accord, notamment parce que les données seraient alors pleinement accessibles à la NSA ( Agence de sécurité nationale américaine) . Les tentatives de parvenir à un accord avec les États-Unis ont échoué.
Au Royaume-Uni notamment, on a constaté des cas où des entreprises ont utilisé l'exploration de données pour cibler certains groupes de clients et les contraindre à payer des prix excessivement élevés. Ces groupes sont généralement composés de personnes de statut socio-économique inférieur qui ne sont pas conscientes des mécanismes d'exploitation dont elles peuvent être victimes sur les plateformes numériques.
Situation aux États-Unis
Aux États-Unis, le Congrès a pris en compte les préoccupations relatives à la protection de la vie privée en adoptant des réglementations telles que la loi HIPAA ( Health Insurance Portability and Accountability Act ). Cette loi exige que les individus donnent leur consentement éclairé concernant les informations qu'ils fournissent et leurs utilisations présentes et futures. Selon un article de Biotech Business Week , « en pratique, la loi HIPAA n'offre pas nécessairement une meilleure protection que les réglementations en vigueur dans le domaine de la recherche », indique l'AAHC. Plus important encore, l'objectif de cette règle, à savoir la protection par le biais du consentement éclairé, devient presque incompréhensible pour le commun des mortels. Ceci souligne la nécessité de l'anonymisation des données dans les pratiques d'agrégation et d'exploration de données.
La législation américaine sur la protection des données personnelles, comme la loi HIPAA et la loi FERPA ( Family Educational Rights and Privacy Act ), ne s'applique qu'aux domaines spécifiques qu'elle couvre. L'utilisation de l'exploration de données par la majorité des entreprises américaines n'est encadrée par aucune loi.
droit d'auteur
Situation en Europe
Union européenne
Même en l'absence de droit d'auteur sur un jeu de données, l'Union européenne reconnaît un droit sur les bases de données . L'exploration de données est donc soumise aux droits des titulaires de droits de propriété intellectuelle , protégés par la directive sur les bases de données . En vertu de la législation européenne sur le droit d'auteur des bases de données , l'exploration d'œuvres protégées (par exemple, par exploration du Web ) sans l'autorisation du titulaire des droits est autorisée par les articles 3 et 4 de la directive de 2019 sur le droit d'auteur dans le marché unique numérique . Une exception spécifique relative à l'exploration de données temporelles (TDM) pour la recherche scientifique est prévue à l'article 3, tandis qu'une exception plus générale, décrite à l'article 4, ne s'applique que si le titulaire des droits n'a pas exercé son droit d'opposition.
En 2013, la Commission européenne a facilité les échanges entre les parties prenantes sur l’exploration de textes et de données, sous l’appellation « Licences pour l’Europe ». L’accent mis sur la solution à ce problème juridique, comme l’octroi de licences plutôt que sur des limitations et des exceptions, a conduit les représentants des universités, des chercheurs, des bibliothèques, des groupes de la société civile et des éditeurs en libre accès à quitter le dialogue des parties prenantes en mai 2013.
Royaume-Uni
Suite à la recommandation du de limitation et d'exception . Le Royaume-Uni était le deuxième pays au monde à prendre cette mesure après le Japon, qui avait introduit une exception pour l'exploration de données en 2009. Cependant, en raison des restrictions de la directive sur la société de l'information (2001), l'exception britannique n'autorise l'exploration de contenu qu'à des fins non commerciales. La loi britannique sur le droit d'auteur ne permet pas non plus de déroger à cette disposition par des clauses contractuelles.
Suisse
Depuis 2020, la Suisse réglemente également l’exploration de données en l’autorisant dans le domaine de la recherche sous certaines conditions prévues par l’article 24d de la loi suisse sur le droit d’auteur. Ce nouvel article est entré en vigueur le 1er avril 2020.
Situation aux États-Unis
Le droit d'auteur américain , et notamment sa disposition relative à l'utilisation équitable , garantit la légalité de l'exploration de contenu aux États-Unis, ainsi que dans d'autres pays appliquant cette pratique, comme Israël , Taïwan et la Corée du Sud . L'exploration de contenu étant transformative, c'est-à-dire qu'elle ne se substitue pas à l'œuvre originale, elle est considérée comme licite au titre de l'utilisation équitable. Par exemple, dans le cadre de l' accord conclu avec Google Livres, le juge ayant présidé l'affaire a statué que le projet de numérisation de livres protégés par le droit d'auteur mené par Google était licite, notamment en raison des utilisations transformatives qu'il illustrait, dont l'exploration de textes et de données.
Logiciel
Logiciels et applications propriétaires d'exploration de données
Les applications suivantes sont disponibles sous licences propriétaires.
- Angoss KnowledgeSTUDIO : outil d’exploration de données
- LIONsolver : une application logicielle intégrée pour l'exploration de données, l'intelligence d'affaires et la modélisation qui met en œuvre l'approche Learning and Intelligent OptimizatioN (LION).
- PolyAnalyst : logiciel d'exploration de données et de textes développé par Megaputer Intelligence.
- Microsoft Analysis Services : logiciel d'exploration de données fourni par Microsoft .
- NetOwl : suite de produits d'analyse de texte et d'entités multilingues permettant l'exploration de données.
- Oracle Data Mining : logiciel d'exploration de données d' Oracle Corporation .
- PSeven : plateforme d'automatisation de la simulation et de l'analyse d'ingénierie, d'optimisation multidisciplinaire et d'exploration de données fournie par DATADVANCE .
- Qlucore Omics Explorer : logiciel d’exploration de données.
- RapidMiner : Un environnement pour les expériences d'apprentissage automatique et d'exploration de données.
- SAS Enterprise Miner : logiciel d'exploration de données fourni par le SAS Institute .
- SPSS Modeler : logiciel d'exploration de données fourni par IBM .
- STATISTICA Data Miner : logiciel d'exploration de données fourni par StatSoft .
- Tanagra : Logiciel d'exploration de données orienté visualisation, également destiné à l'enseignement.
- Vertica : logiciel d'exploration de données fourni par Hewlett-Packard .
- Google Cloud Platform : modèles ML personnalisés automatisés gérés par Google .
- Amazon SageMaker : service géré fourni par Amazon pour la création et la mise en production de modèles ML personnalisés.