Article de reference

Amazon S3

Amazon Simple Storage Service ( S3 ) est un service proposé par Amazon Web Services (AWS) qui fournit un stockage d'objets via une interface de service web . Amazon S3 utilise l...

Amazon Web Services (AWS) qui fournit un stockage d'objets via une interface de service web . Amazon S3 utilise la même infrastructure de stockage évolutive qu'Amazon.com pour son réseau de commerce électronique. Amazon S3 peut stocker tout type d'objet, permettant ainsi des utilisations telles que le stockage pour les applications Internet, les sauvegardes, la reprise après sinistre, l'archivage de données, les lacs de données pour l'analyse et le stockage cloud hybride . AWS a lancé Amazon S3 aux États-Unis le 14 mars 2006, puis en Europe en novembre 2007.

de stockage objet qui vise à offrir évolutivité , haute disponibilité , faible latence et grande durabilité . Les unités de stockage de base d'Amazon S3 sont des objets organisés en compartiments (buckets). Chaque objet est identifié par une clé unique attribuée par l'utilisateur . Les compartiments peuvent être gérés via la console Amazon S3, par programmation avec le kit de développement logiciel AWS ( SDK ) ou via l' interface de programmation d'applications REST . La taille des objets peut atteindre cinq téraoctets Les requêtes sont autorisées à l'aide d'une liste de contrôle d'accès associée à chaque compartiment et prennent en charge le versionnage , désactivé par défaut . Amazon S3 peut être utilisé pour remplacer l'infrastructure d'hébergement web statique par des objets accessibles par client HTTP , et prend en charge les documents d'index et les documents d'erreur . Le mécanisme d'authentification d'Amazon AWS permet la création d'URL authentifiées, valides pendant une durée déterminée. Chaque élément d'un bucket peut également être diffusé sous forme de flux BitTorrent . Le stockage Amazon S3 peut servir de serveur de départ pour un torrent , et n'importe quel client BitTorrent peut récupérer le fichier. Cela permet de réduire considérablement le coût en bande passante pour le téléchargement d'objets populaires. Un bucket peut être configuré pour enregistrer les informations de journalisation HTTP dans un bucket frère ; ces informations peuvent être utilisées pour des opérations d'exploration de données .

Divers systèmes de fichiers basés sur FUSE (User Mode File System) pour Linux ou d'autres systèmes d'exploitation de type Unix peuvent être utilisés pour monter un compartiment S3 comme un système de fichiers. La sémantique du système de fichiers Amazon S3 n'étant pas celle d'un système de fichiers POSIX , son comportement peut ne pas être entièrement conforme aux attentes. Parmi les implémentations possibles, on trouve Rclone et le point de montage AWS pour S3.

classes de stockage Amazon S3

Amazon S3 propose neuf classes de stockage différentes avec différents niveaux de durabilité, de disponibilité et d'exigences de performance.

  • Amazon S3 Standard est le mode de stockage par défaut. Il s'agit d'un stockage à usage général pour les données fréquemment consultées.
  • Amazon S3 Express One Zone est un stockage à latence de quelques millisecondes seulement, conçu pour les données fréquemment consultées et les applications sensibles à la latence. Il stocke les données dans une seule zone de disponibilité.

Les classes de stockage Amazon S3 Glacier mentionnées ci-dessus sont distinctes d' Amazon Glacier , qui est un produit distinct doté de ses propres API.

Limites de taille de fichier

Un objet sur S3 peut avoir une taille comprise entre 0 octet et 5 To. Si un objet dépasse 5 To, il doit être divisé en segments avant d'être chargé. Lors d'un chargement, Amazon S3 autorise un maximum de 5 Go par opération ; par conséquent, les objets de plus de 5 Go doivent être chargés via l'API de chargement multipart S3.

Échelle

En 2025, S3 stocke 500 billions d'objets, des centaines d' exaoctets de données, traite 200 millions de requêtes par seconde, et atteint un pic d'environ 1 pétaoctet par seconde en bande passante.

Utilisations

Utilisateurs notables

  • Le service d'hébergement de photos SmugMug utilise Amazon S3 depuis avril 2006. Ils ont connu un certain nombre de pannes et de ralentissements initiaux, mais après un an, ils l'ont décrit comme étant « considérablement plus fiable que notre propre stockage interne » et ont affirmé avoir économisé près d'un million de dollars en coûts de stockage.
  • Netflix utilise Amazon S3 comme système d'enregistrement . Netflix a implémenté un outil, S3mper, pour pallier les limitations d'Amazon S3 en matière de cohérence éventuelle . S3mper stocke les métadonnées du système de fichiers : noms de fichiers, structure des répertoires et permissions dans Amazon DynamoDB .
  • Reddit est hébergé sur Amazon S3.
  • Bitcasa [ et Tahoe-LAFS -on-S3 services de sauvegarde et de synchronisation en ligne. En 2016, Dropbox a cessé d'utiliser les services Amazon S3 et a développé son propre serveur cloud
  • Le PDG de Swiftype a mentionné que l'entreprise utilise Amazon S3.

API S3 et services concurrents

L'adoption généralisée d'Amazon S3 et des outils associés a donné naissance à des services concurrents basés sur l' API S3. Ces services utilisent l'interface de programmation standard, mais se distinguent par leurs technologies sous-jacentes et leurs modèles économiques. Une interface standard favorise une meilleure concurrence entre les fournisseurs et permet de réaliser des économies d'échelle lors de la mise en œuvre, entre autres avantages. Les utilisateurs ne sont pas tenus de s'adresser directement à Amazon, car plusieurs fournisseurs de stockage tels que Cloudian , Backblaze B2 et Wasabi proposent un stockage compatible S3 avec des options de déploiement sur site et dans un cloud privé. Plusieurs implémentations open source de serveurs de stockage d'objets compatibles S3 peuvent être auto-hébergées, comme Garage. IBM Cloud Object Storage propose également une option de stockage d'objets compatible S3 basée sur le cloud.

Histoire

Lors du AWS Summit 2013 à New York, le directeur technique Werner Vogels annonce que 2 000 milliards d'objets sont stockés dans S3.

Amazon Web Services a lancé Amazon S3 en 2006.

DateNombre d'articles stockés
Octobre 200710 milliards
Janvier 200814 milliards
Octobre 200829 milliards
Mars 200952 milliards
Août 200964 milliards
Mars 2010102 milliards
Avril 20132 billions
Mars 2021100 billions
Mars 2023280 billions
Novembre 2024400 billions

En novembre 2017, AWS a ajouté des capacités de chiffrement par défaut au niveau du compartiment.