Découverte de métadonnées

Dans le domaine des métadonnées , la découverte de métadonnées (également appelée collecte de métadonnées ) est le processus consistant à utiliser des outils automatisés pour découvrir la sémantique d'un élément de données dans des ensembles de données. Ce processus se termine généralement par un ensemble de mappages entre les éléments de la source de données et un registre de métadonnées centralisé . La découverte de métadonnées est également connue sous le nom d'analyse des métadonnées.

Les ensembles de données peuvent se présenter sous différentes formes, notamment :

1. Bases de données relationnelles
2. Bases de données NoSQL
3. Feuilles de calcul
4. Fichiers XML
5. Services Web
6. Code source de logiciels tels que les classes Fortran, Jovial, COBOL, Assembler, RPG, PL/1, EasyTrieve, Java, C# ou C++ et des milliers d'autres langages logiciels
7. Documents texte non structurés tels que des fichiers Microsoft Word ou PDF

Il existe différentes catégories de découverte automatisée de métadonnées :

1. Correspondance exacte : lorsque les liens entre éléments de données sont établis en fonction du nom exact d'une colonne dans une base de données, du nom d'un élément XML ou d'une étiquette sur un écran. Par exemple, si une colonne de base de données porte le nom « PersonBirthDate » et qu'un élément de données dans un registre de métadonnées porte également le nom « PersonBirthDate », des outils automatisés peuvent déduire que la colonne d'une base de données a la même sémantique (signification) que l'élément de données dans le registre de métadonnées.
2. Correspondance de synonymes - où l'outil de découverte ne reçoit pas simplement un nom unique mais un ensemble de synonymes.
3. Correspondance de modèles - dans ce cas, l'outil reçoit un ensemble de modèles lexicaux qu'il peut faire correspondre. Par exemple, l'outil peut rechercher « *genre* » ou « *sexe* »

La correspondance sémantique tente d'utiliser la sémantique pour associer les données cibles aux éléments de données enregistrés .

1. Similarité sémantique - Cet algorithme s'appuie sur une base de données de proximité conceptuelle des mots. Par exemple, le système WordNet peut classer la proximité conceptuelle des mots entre eux. Par exemple, les termes « Personne », « Individu » et « Humain » peuvent être des concepts très similaires.

La correspondance statistique utilise des statistiques sur les sources de données elles-mêmes pour dériver des similitudes avec les éléments de données enregistrés.

1. Analyse des valeurs distinctes - En analysant toutes les valeurs distinctes d'une colonne, la similarité avec un élément de données enregistré peut être établie. Par exemple, si une colonne ne contient que deux valeurs distinctes « homme » et « femme », cela peut être mappé à « PersonGenderCode ».
2. Analyse de la distribution des données - En analysant la distribution des valeurs dans une seule colonne et en comparant cette distribution avec des éléments de données connus, un lien sémantique peut être déduit.

Les fournisseurs suivants (classés par ordre alphabétique) fournissent des logiciels et des solutions de découverte et de mappage de métadonnées

• Atlan (voir [1])
• Innovations BigHand/Esquire (voir [2])
• IBM
• Imperva
• Talend
• InfoLibrarian Corporation (voir [3])
• Application de base de données de métadonnées MindHARBOR (voir [4])
• Octopai - une automatisation de la découverte et de la gestion des métadonnées multiplateformes (voir [5])
• OvalEdge (voir [6])
• Revelytix (voir [7])
• Systèmes Silver Creek (voir [8])
• Stratio (voir La fiabilité des données est la base des entreprises performantes)
• Sypherlink : Moissonneuse (voir [9])
• Systèmes Unicorn (voir [10])

• Projet INDUS à l' Université d'État de l'Iowa (voir [11])
• Mercury - Un système de gestion de métadonnées distribuées et de découverte de données développé au Oak Ridge National Laboratory DAAC (voir [12])