Worldlex Wiki 
Les données non structurées (ou informations non structurées ) sont des informations qui ne possèdent pas de modèle de données prédéfini ou qui ne sont pas organisées selon une méthode prédéfinie. Ces informations sont généralement majoritairement textuelles, mais peuvent également contenir des dates, des nombres et des faits. Il en résulte des irrégularités et des ambiguïtés qui rendent leur compréhension difficile avec les programmes traditionnels, contrairement aux données stockées sous forme de champs dans des bases de données ou annotées ( balisées sémantiquement ) dans des documents.
En 1998, Merrill Lynch affirmait que « les données non structurées représentent la grande majorité des données présentes dans une organisation, certaines estimations allant jusqu'à 80 % ». L'origine de ce chiffre reste incertaine, mais il est néanmoins accepté par certains. D'autres sources font état de pourcentages similaires, voire supérieurs, de données non structurées.
En 2012, IDC et Dell EMC prévoyaient que le volume de données atteindrait 40 zettaoctets d'ici 2020, soit une multiplication par 50 par rapport au début de 2010 Plus récemment, IDC et Seagate estiment que la sphère de données mondiale atteindra 163 zettaoctets d'ici 2025 , et que la majorité de ces données seront non structurées. Le magazine Computer World indique que les informations non structurées pourraient représenter plus de 70 à 80 % de l'ensemble des données au sein des organisations.
Arrière-plan
Les premières recherches en intelligence d'affaires se sont concentrées sur les données textuelles non structurées, plutôt que sur les données numériques. Dès 1958, des chercheurs en informatique comme H.P. Luhn s'intéressaient particulièrement à l'extraction et à la classification de textes non structurés. Cependant, ce n'est qu'au tournant du siècle que la technologie a rattrapé l'intérêt de la recherche. En 2004, le SAS Institute a développé SAS Text Miner, qui utilise la décomposition en valeurs singulières (SVD) pour réduire un espace textuel hyperdimensionnel en dimensions plus petites, permettant ainsi une analyse automatique nettement plus efficace. Les avancées mathématiques et technologiques engendrées par l'analyse textuelle automatique ont incité de nombreuses entreprises à explorer des applications, ce qui a conduit au développement de domaines tels que l'analyse des sentiments , l'analyse de la voix du client et l'optimisation des centres d'appels. L'émergence du Big Data à la fin des années 2000 a suscité un intérêt accru pour les applications de l'analyse des données non structurées dans des domaines contemporains tels que l'analyse prédictive et l'analyse des causes profondes .
Problèmes de terminologie
Ce terme est imprécis pour plusieurs raisons :
- La structure , bien que non formellement définie, peut néanmoins être sous-entendue.
- Des données présentant une certaine forme de structure peuvent néanmoins être qualifiées de non structurées si leur structure n'est pas utile à la tâche de traitement en cours.
- Les informations non structurées peuvent avoir une certaine structure ( semi-structurées ) ou même être hautement structurées, mais de manière imprévue ou non annoncée.
Gestion des données non structurées
Des techniques telles que l'exploration de données , le traitement automatique du langage naturel (TALN) et l'analyse textuelle offrent différentes méthodes pour identifier des tendances et interpréter ces informations. Les techniques courantes de structuration de texte impliquent généralement un étiquetage manuel par métadonnées ou par catégorie grammaticale, en vue d'une structuration ultérieure basée sur l'exploration de texte . La norme UIMA ( Unstructured Information Management Architecture ) a fourni un cadre commun pour le traitement de ces informations, permettant d'en extraire le sens et de créer des données structurées.
Les logiciels qui créent des structures exploitables par machine peuvent tirer parti des structures linguistiques, auditives et visuelles présentes dans toutes les formes de communication humaine. Les algorithmes peuvent inférer cette structure inhérente à partir d'un texte, par exemple en examinant la morphologie des mots , la syntaxe des phrases et d'autres modèles à petite et grande échelle. Les informations non structurées peuvent ensuite être enrichies et étiquetées afin de lever les ambiguïtés, et des techniques basées sur la pertinence sont alors utilisées pour faciliter la recherche et la découverte. Parmi les exemples de « données non structurées », on peut citer les livres, les revues, les documents, les métadonnées , les dossiers médicaux , les fichiers audio et vidéo , les données analogiques , les images et les textes non structurés tels que le corps d'un courriel , d'une page Web ou d'un document de traitement de texte . Bien que le contenu principal véhiculé ne possède pas de structure définie, il est généralement conditionné dans des objets (fichiers, documents, etc.) qui, eux-mêmes, ont une structure. Il s'agit donc d'un mélange de données structurées et non structurées, mais l'ensemble de ces données est désigné sous le terme de « données non structurées ». Par exemple, une page web HTML est balisée, mais le balisage HTML sert généralement uniquement à l'affichage . Il ne permet pas de saisir la signification ni la fonction des éléments balisés de manière à faciliter le traitement automatisé du contenu informationnel de la page. Le balisage XHTML permet le traitement automatique des éléments, mais il ne permet généralement pas de saisir ni de transmettre la signification sémantique des termes balisés.
Étant donné la présence fréquente de données non structurées dans les documents électroniques , l'utilisation d'un système de gestion de contenu ou de documents capable de catégoriser l'ensemble des documents est souvent privilégiée par rapport au transfert et à la manipulation de données directement dans les documents. La gestion documentaire permet ainsi de structurer les collections de documents .
Les moteurs de recherche sont devenus des outils populaires pour l'indexation et la recherche dans ces données, notamment textuelles.
Approches en traitement automatique du langage naturel
Des flux de travail informatiques spécifiques ont été développés pour structurer les données non structurées contenues dans les documents textuels. Ces flux de travail sont généralement conçus pour traiter des ensembles de milliers, voire de millions de documents, soit bien plus que ne le permettent les méthodes d'annotation manuelles. Plusieurs de ces méthodes reposent sur le concept de traitement analytique en ligne (OLAP ) et peuvent s'appuyer sur des modèles de données tels que les cubes de texte. Une fois les métadonnées des documents disponibles via un modèle de données, la génération de résumés de sous-ensembles de documents (c'est-à-dire des cellules d'un cube de texte) peut être effectuée à l'aide de méthodes basées sur les phrases.
Extraction d'informations
L'extraction d'informations (EI) consiste à extraire automatiquement des informations structurées à partir de documents non structurés et/ou semi-structurés lisibles par machine et d'autres sources électroniques. Elle implique généralement le traitement de textes en langage naturel par le biais du traitement automatique du langage naturel (TALN). Les activités récentes de traitement de documents multimédias , telles que l'annotation automatique et l'extraction de contenu à partir d'images, d'audio, de vidéo ou de documents, peuvent être considérées comme de l'extraction d'informations.
Les progrès récents des techniques de traitement automatique du langage naturel (TALN) ont permis d'améliorer considérablement les performances par rapport aux années précédentes. À titre d'exemple, citons l'extraction, à partir des dépêches d'agences de presse, d'informations sur les fusions-acquisitions, comme l'indique la relation formelle suivante :
extrait d'une phrase d'actualité en ligne comme :
- «Hier, la société new-yorkaise Foo Inc. a annoncé l'acquisition de Bar Corp.»
L'un des objectifs généraux de l'ingénierie des données est de permettre le traitement de données auparavant non structurées. Plus précisément, elle vise à permettre un raisonnement automatisé sur la forme logique des données d'entrée. Les données structurées sont des données sémantiquement bien définies, issues d'un domaine cible choisi et interprétées en fonction de leur catégorie et de leur contexte .
L'extraction d'information (EI) constitue une partie d'un problème plus vaste visant à concevoir des méthodes automatiques de gestion de texte, au-delà de sa transmission, de son stockage et de son affichage. La discipline de la recherche d'information (RI) a développé des méthodes automatiques, généralement de nature statistique, pour l'indexation et la classification de vastes corpus documentaires. Le traitement automatique du langage naturel (TALN) constitue une approche complémentaire et a permis de résoudre avec un succès considérable le problème de la modélisation du traitement du langage humain, compte tenu de l'ampleur de la tâche. De par sa complexité et son importance, l'EI se situe entre la RI et le TALN. Concernant les données d'entrée, l'EI suppose l'existence d'un ensemble de documents, chacun suivant un modèle, c'est-à-dire décrivant une ou plusieurs entités ou événements de manière similaire à d'autres documents, mais avec des différences de détails. Prenons l'exemple d'un ensemble d'articles de presse sur le terrorisme en Amérique latine, chaque article étant supposé se fonder sur un ou plusieurs actes terroristes. Pour chaque tâche d'extraction d'informations (EI), nous définissons un modèle, c'est-à-dire un ou plusieurs cadres de cas contenant les informations d'un document. Dans l'exemple du terrorisme, un modèle comprendrait des champs relatifs à l'auteur, la victime, l'arme de l'acte terroriste et la date de l'événement. Un système d'EI pour ce problème doit « comprendre » un article d'attaque uniquement pour trouver les données correspondant aux champs de ce modèle.