Analyse des liens

En théorie des réseaux , l'analyse des liens est une technique d'analyse de données utilisée pour évaluer les relations (Appuyez sur le lien ) entre les nœuds. Les relations peuvent être identifiées entre différents types de nœuds (100k ), y compris les organisations , les personnes et les transactions . L'analyse des liens a été utilisée pour enquêter sur des activités criminelles ( fraude , contre-terrorisme et renseignement ), l'analyse de la sécurité informatique , l'optimisation des moteurs de recherche , les études de marché , la recherche médicale et l'art.

La découverte de connaissances est un processus itératif et interactif utilisé pour identifier , analyser et visualiser des modèles dans les données. L'analyse de réseau, l'analyse de lien et l'analyse de réseau social sont toutes des méthodes de découverte de connaissances, chacune étant un sous-ensemble correspondant de la méthode précédente. La plupart des méthodes de découverte de connaissances suivent ces étapes (au plus haut niveau) :

1. Informatique
2. Transformation
3. Analyse
4. Visualisation

La collecte et le traitement des données nécessitent l'accès aux données et présentent plusieurs problèmes inhérents, notamment la surcharge d'informations et les erreurs de données. Une fois les données collectées, elles doivent être transformées en un format pouvant être utilisé efficacement par les analystes humains et informatiques. Des outils de visualisation manuels ou générés par ordinateur peuvent être cartographiés à partir des données, notamment des graphiques de réseau. Plusieurs algorithmes existent pour aider à l'analyse des données : l'algorithme de Dijkstra , la recherche en largeur et la recherche en profondeur .

L'analyse des liens se concentre sur l'analyse des relations entre les nœuds au moyen de méthodes de visualisation ( graphiques de réseau , matrice d'association). Voici un exemple de relations qui peuvent être cartographiées pour les enquêtes criminelles :

L'analyse des liens est utilisée à trois fins principales :

1. Trouver des correspondances dans les données pour des modèles d’intérêt connus ;
2. Trouver des anomalies où des modèles connus sont violés ;
3. Découvrir de nouveaux modèles d'intérêt (analyse des réseaux sociaux, data mining ).

Klerks a classé les outils d'analyse de liens en 3 générations. La première génération a été introduite en 1975 sous le nom de diagramme Anacpapa de Harper et Harris. Cette méthode nécessite qu'un expert du domaine examine les fichiers de données, identifie les associations en construisant une matrice d'association, crée un diagramme de liens pour la visualisation et analyse enfin le diagramme de réseau pour identifier les modèles d'intérêt. Cette méthode nécessite une connaissance approfondie du domaine et prend énormément de temps lors de l'examen de grandes quantités de données.

En plus de la matrice d'association, la matrice d'activités peut être utilisée pour produire des informations exploitables, qui ont une valeur pratique et sont utiles aux forces de l'ordre. La matrice d'activités, comme son nom l'indique, se concentre sur les actions et les activités des personnes par rapport aux lieux. Alors que la matrice d'association se concentre sur les relations entre les personnes, les organisations et/ou les propriétés. La distinction entre ces deux types de matrices, bien que mineure, est néanmoins significative en termes de résultat de l'analyse réalisée ou rendue.

Les outils de deuxième génération sont constitués d'outils d'analyse automatique basés sur des graphiques tels que IBM i2 Analyst's Notebook, Netmap, ClueMaker et Watson. Ces outils offrent la possibilité d'automatiser la construction et les mises à jour du graphique de liens une fois qu'une matrice d'association est créée manuellement. Cependant, l'analyse des graphiques et diagrammes résultants nécessite toujours un expert possédant une connaissance approfondie du domaine.

La troisième génération d’outils d’analyse de liens comme DataWalk permet la visualisation automatique des liens entre les éléments d’un ensemble de données, qui peuvent ensuite servir de canevas pour une exploration plus approfondie ou des mises à jour manuelles.

• Programme d'appréhension des criminels violents du FBI (ViCAP)
• Système d'analyse des crimes sexuels de l'État de l'Iowa
• Système d'analyse des crimes sexuels de l'État du Minnesota (MIN/SCAP)
• Système de suivi des enquêtes sur les homicides de l'État de Washington (HITS)
• Enquête sur les homicides et suivi des pistes dans l'État de New York (HALT)
• Évaluation et suivi des homicides dans le New Jersey (HEAT)
• Programme ATAC de l’État de Pennsylvanie.
• Système d'analyse des liens entre les crimes violents (ViCLAS)

Avec les énormes quantités de données et d’informations stockées électroniquement, les utilisateurs sont confrontés à de multiples sources d’informations sans rapport entre elles disponibles pour l’analyse. Des techniques d’analyse de données sont nécessaires pour une utilisation efficace et efficiente des données. Palshikar classe les techniques d’analyse de données en deux catégories – ( modèles statistiques , analyse de séries chronologiques , clustering et classification , algorithmes de mise en correspondance pour détecter les anomalies) et les techniques d’intelligence artificielle (IA) (exploration de données, systèmes experts , reconnaissance de formes , techniques d’apprentissage automatique , réseaux neuronaux ).

Bolton & Hand définissent l'analyse des données statistiques comme des méthodes supervisées ou non supervisées. Les méthodes d'apprentissage supervisées nécessitent que des règles soient définies au sein du système pour établir ce qui est attendu ou un comportement inattendu. Les méthodes d'apprentissage non supervisées examinent les données par rapport à la norme et détectent les valeurs aberrantes statistiques. Les méthodes d'apprentissage supervisées sont limitées dans les scénarios qui peuvent être traités car cette méthode nécessite que des règles de formation soient établies sur la base de modèles antérieurs. Les méthodes d'apprentissage non supervisées peuvent permettre de détecter des problèmes plus larges, mais peuvent entraîner un taux de faux positifs plus élevé si la norme comportementale n'est pas bien établie ou comprise.

Les données elles-mêmes présentent des problèmes inhérents, notamment l'intégrité (ou le manque d'intégrité) et les changements continus. Les données peuvent contenir des « erreurs d'omission et de commission en raison d'une collecte ou d'une manipulation défectueuse, et lorsque des entités tentent activement de tromper et/ou de dissimuler leurs actions ». Sparrow souligne que l'incomplétude (inévitabilité des données ou des liens manquants), les limites floues (subjectivité dans la décision de ce qu'il faut inclure) et les changements dynamiques (reconnaissance du fait que les données sont en constante évolution) sont les trois principaux problèmes de l'analyse des données.

Une fois les données transformées en un format utilisable, des problèmes de texture ouverte et de référencement croisé peuvent survenir. La texture ouverte a été définie par Waismann comme l'incertitude inévitable de la signification lorsque des termes empiriques sont utilisés dans des contextes différents. L'incertitude de la signification des termes pose des problèmes lorsqu'on tente de rechercher et de référencer des données provenant de sources multiples.

La principale méthode pour résoudre les problèmes d'analyse de données consiste à s'appuyer sur les connaissances du domaine fournies par un expert. Il s'agit d'une méthode d'analyse des liens très longue et coûteuse, qui présente ses propres problèmes. McGrath et al. concluent que la mise en page et la présentation d'un diagramme de réseau ont un impact significatif sur les « perceptions de l'existence de groupes dans les réseaux » par l'utilisateur. Même le recours à des experts du domaine peut aboutir à des conclusions différentes, car l'analyse peut être subjective.

Les techniques d’analyse des liens ont été principalement utilisées à des fins de poursuites judiciaires, car il est beaucoup plus facile d’examiner les données historiques pour y déceler des tendances que de tenter de prédire les actions futures.

Krebs a démontré l'utilisation d'une matrice d'association et d'un tableau de liens du réseau terroriste associé aux 19 pirates de l'air responsables des attentats du 11 septembre en cartographiant les détails accessibles au public rendus publics après les attentats. Même avec les avantages du recul et des informations accessibles au public sur les personnes, les lieux et les transactions, il est clair qu'il manque des données.

Picarelli a également soutenu que l'utilisation de techniques d'analyse de liens aurait pu être utilisée pour identifier et potentiellement prévenir les activités illicites au sein du réseau Aum Shinrikyo . « Nous devons faire attention à la « culpabilité par association ». Être lié à un terroriste ne prouve pas la culpabilité, mais cela ouvre la voie à une enquête. » Équilibrer les concepts juridiques de cause probable , de droit à la vie privée et de liberté d'association devient difficile lorsque l'on examine des données potentiellement sensibles dans le but de prévenir un crime ou une activité illégale qui n'a pas encore eu lieu.

Il existe quatre catégories de solutions d’analyse de liens proposées :

1. Basé sur l'heuristique
2. Basé sur un modèle
3. Basé sur la similarité
4. Statistique

Les outils heuristiques utilisent des règles de décision issues de connaissances d'experts utilisant des données structurées. Les outils basés sur des modèles utilisent le traitement du langage naturel (NLP) pour extraire des détails de données non structurées qui correspondent à des modèles prédéfinis. Les approches basées sur la similarité utilisent une notation pondérée pour comparer les attributs et identifier les liens potentiels. Les approches statistiques identifient les liens potentiels sur la base de statistiques lexicales.

JJ Xu et H. Chen proposent un cadre d'analyse et de visualisation automatisées des réseaux appelé CrimeNet Explorer. Ce cadre comprend les éléments suivants :

• Création de réseau par une approche d'espace conceptuel qui utilise « le poids de cooccurrence pour mesurer la fréquence à laquelle deux mots ou phrases apparaissent dans le même document. Plus deux mots ou phrases apparaissent fréquemment ensemble, plus il est probable qu'ils soient liés ».
• Partitionnement de réseau utilisant « le clustering hiérarchique pour partitionner un réseau en sous-groupes en fonction de la force relationnelle ».
• Analyse structurelle via « trois mesures de centralité (degré, intermédiaire et proximité) pour identifier les membres centraux dans un sous-groupe donné. CrimeNet Explorer a utilisé l'algorithme du plus court chemin de Dijkstra pour calculer l'intermédiaire et la proximité d'un seul nœud à tous les autres nœuds du sous-groupe.
• Visualisation du réseau à l'aide de l'algorithme de mise à l'échelle multidimensionnelle métrique (MDS) de Torgerson .