Worldlex Wiki Dans un environnement de calcul haute performance , le tampon de rafale est une couche de stockage intermédiaire rapide, située entre les processus de calcul frontaux et les systèmes de stockage dorsaux . Il comble l'écart de performance entre la vitesse de traitement des nœuds de calcul et la bande passante d'entrée/sortie (E/S) des systèmes de stockage. Les tampons de rafale sont souvent constitués de baies de périphériques de stockage haute performance, tels que la NVRAM et les SSD . Ils offrent généralement une bande passante d'E/S de un à deux ordres de grandeur supérieure à celle des systèmes de stockage dorsaux.
les supercalculateurs . Par exemple, le cycle de vie des applications scientifiques alterne généralement entre des phases de calcul et des phases d'E/S . Concrètement, après chaque itération de calcul (phase de calcul), tous les processus écrivent simultanément leurs données intermédiaires sur le système de stockage (phase d'E/S), avant de procéder à une nouvelle itération de calcul et de transfert de données. Grâce aux tampons de rafale, les processus peuvent écrire rapidement leurs données dans un tampon de rafale après une itération de calcul, au lieu de les écrire sur le système de stockage lent basé sur les disques durs, et passer immédiatement à l'itération suivante sans attendre le transfert des données vers le système de stockage Les données sont ensuite transférées de manière asynchrone du tampon de rafale vers le système de stockage lors de l'itération de calcul suivante. Ainsi, le temps d'E/S important lié au transfert des données vers le système de stockage est masqué par le temps de calcul. De plus, la mise en mémoire tampon des données dans une mémoire tampon de rafale offre aux applications de nombreuses possibilités de restructurer le trafic de données vers les systèmes de stockage principaux afin d'optimiser l'utilisation de la bande passante de ces systèmes. Dans un autre cas d'utilisation courant, les applications scientifiques peuvent stocker et extraire leurs données intermédiaires de la mémoire tampon de rafale sans interagir avec les systèmes de stockage plus lents. En contournant les systèmes de stockage, les applications peuvent ainsi tirer pleinement parti des gains de performance offerts par la mémoire tampon de rafale.Architectures représentatives de tampons de rafale
Dans les environnements de calcul haute performance, on distingue deux architectures de mémoire tampon de rafale représentatives : la mémoire tampon de rafale locale et la mémoire tampon de rafale partagée distante. Dans l’architecture locale, le stockage de la mémoire tampon de rafale est situé sur chaque nœud de calcul, ce qui permet une augmentation linéaire de la bande passante totale avec le nombre de nœuds. Cet avantage en termes d’évolutivité a été largement documenté dans la littérature récente . Il implique également la nécessité d’une stratégie de gestion des métadonnées évolutive pour maintenir un espace de noms global pour les données réparties sur l’ensemble des mémoires tampons . Dans l’architecture de mémoire tampon de rafale partagée distante, le stockage réside sur un nombre réduit de nœuds d’E/S positionnés entre les nœuds de calcul et les systèmes de stockage principaux. Les transferts de données entre les nœuds de calcul et la mémoire tampon de rafale s’effectuent via le réseau. Le déploiement de la mémoire tampon de rafale sur les nœuds d’E/S facilite le développement, le déploiement et la maintenance indépendants du service. Par conséquent, plusieurs logiciels commerciaux bien connus ont été développés pour gérer ce type de mémoire tampon de rafale, tels que DataWarp et Infinite Memory Engine. Comme les supercalculateurs sont déployés avec plusieurs couches de mémoire tampon de rafale hétérogènes, telles que la NVRAM sur les nœuds de calcul et les SSD sur les nœuds d'E/S dédiés, il est nécessaire de déplacer les données de manière transparente entre ces différentes couches de stockage.
Supercalculateurs déployés avec tampon de rafale
En raison de son importance, le tampon de rafale a été largement déployé sur les supercalculateurs de pointe. Par exemple, un tampon de rafale local a été installé sur le supercalculateur DASH du San Diego Supercomputer Center , sur les supercalculateurs Tsubame de l'Institut de technologie de Tokyo , sur les supercalculateurs Theta et Aurora du Laboratoire national d'Argonne , sur le supercalculateur Summit du Laboratoire national d'Oak Ridge et sur le supercalculateur Sierra du Laboratoire national Lawrence Livermore , etc. Un tampon de rafale partagé distant a été adopté par le supercalculateur Tianhe-2 du Centre national de supercalcul de Guangzhou , le supercalculateur Trinity du Laboratoire national de Los Alamos , le supercalculateur Cori du Laboratoire national Lawrence Berkeley et le supercalculateur ARCHER2 du Centre de calcul parallèle d'Édimbourg .
Plus d articles de Worldlex Wiki
Revenez a l index pour explorer davantage de pages sur l histoire, la science, la culture, la geographie et la societe en francais.
Explorer l index