Azure Data Lake

Le service Azure Data Lake a été lancé le 16 novembre 2016. Il est basé sur COSMOS , utilisé pour stocker et traiter les données d'applications telles qu'Azure, AdCenter , Bing , MSN , Skype et Windows Live . COSMOS intègre un moteur de requêtes de type SQL appelé SCOPE, sur lequel U-SQL a été développé

Data Lake Storage est un service cloud permettant de stocker des données structurées, semi-structurées ou non structurées issues d'applications telles que les réseaux sociaux , pétaoctet .

Data Lake Analytics est un service de traitement parallèle à la demande. Son système de traitement parallèle repose sur Microsoft Dryad . Dryad peut représenter des graphes acycliques orientés (DAG) de calcul arbitraires. Data Lake Analytics fournit une infrastructure distribuée capable d'allouer dynamiquement des ressources, permettant ainsi aux clients de ne payer que pour les services qu'ils utilisent. Le système utilise Apache YARN, composant d' Apache Hadoop qui gère les ressources entre les clusters. Data Lake Store prend en charge toute application utilisant l'interface du système de fichiers distribué Hadoop (HDFS)

U-SQL est un langage de requêtes destiné aux programmes de transformation et de traitement parallèle des données pour l'analyse de lacs de données. Il combine SQL et C# : il s'agit d'une évolution du langage SQL déclaratif offrant une extensibilité native grâce au code utilisateur écrit en C#. U-SQL utilise les types de données C# et le langage d'expressions C#.

En 2021, Microsoft a annoncé l'arrêt d'Azure Data Lake Storage d'origine, désormais appelé « Gen1 », en 2024. Les technologies Azure Data Lake Analytics/U-SQL associées sont également abandonnées. Azure Data Lake Storage Gen2, une extension d'Azure Storage, reste disponible. Azure Synapse Analytics et Apache Spark sont les technologies de remplacement proposées.