QPACE

QPACE ( QCD Parallel Computing on the Cell Broadband Engine ) est un supercalculateur massivement parallèle et évolutif conçu pour les applications en chromodynamique quantique sur réseau .

Le supercalculateur QPACE est un projet de recherche mené par plusieurs institutions universitaires en collaboration avec le laboratoire de recherche et développement IBM de Böblingen, en Allemagne, et d'autres partenaires industriels, dont Eurotech , Knürr et Xilinx . L'équipe de conception universitaire composée d'environ 20 scientifiques juniors et seniors, principalement des physiciens, provenait de l' Université de Ratisbonne (chef de projet), de l' Université de Wuppertal , de DESY Zeuthen, du Centre de recherche de Jülich et de l' Université de Ferrare . L'objectif principal était la conception d'une architecture évolutive optimisée pour les applications qui surpasse les produits industriels en termes de performances de calcul, de rapport prix-performance et d'efficacité énergétique. Le projet a officiellement démarré en 2008. Deux installations ont été déployées à l'été 2009. La conception finale a été achevée début 2010. Depuis lors, QPACE est utilisé pour les calculs de QCD sur réseau . L'architecture du système est également adaptée à d'autres applications qui reposent principalement sur la communication du plus proche voisin, par exemple les méthodes de Boltzmann sur réseau .

En novembre 2009, QPACE était l'architecture leader sur la liste Green500 des supercalculateurs les plus économes en énergie au monde. Le titre a été défendu en juin 2010, lorsque l'architecture a atteint une signature énergétique de 773 MFLOPS par watt dans le test de performance Linpack . Dans la liste Top500 des supercalculateurs les plus puissants, QPACE s'est classé de la 110e à la 112e place en novembre 2009 et de la 131e à la 133e place en juin 2010.

QPACE a été financé par la Fondation allemande pour la recherche (DFG) dans le cadre du projet SFB/TRR-55 et par IBM . Des contributions supplémentaires ont été apportées par Eurotech , Knürr et Xilinx .

En 2008, IBM a lancé le processeur multicœur PowerXCell 8i , une version améliorée du IBM Cell Broadband Engine utilisé, par exemple, dans la PlayStation 3. Le processeur a reçu beaucoup d'attention dans la communauté scientifique en raison de ses performances exceptionnelles en virgule flottante. Il s'agit de l'un des éléments constitutifs du cluster IBM Roadrunner , qui a été la première architecture de supercalculateur à franchir la barrière PFLOPS. Les architectures de cluster basées sur le PowerXCell 8i s'appuient généralement sur des serveurs lames IBM BladeCenter interconnectés par des réseaux standard tels qu'Infiniband . Pour QPACE, une approche entièrement différente a été choisie. Un coprocesseur réseau conçu sur mesure et implémenté sur des FPGA Xilinx Virtex-5 est utilisé pour connecter les nœuds de calcul. Les FPGA sont des dispositifs semi-conducteurs reprogrammables qui permettent une spécification personnalisée du comportement fonctionnel. Le processeur réseau QPACE est étroitement couplé au PowerXCell 8i via une interface d'E/S propriétaire de Rambus.

Le plus petit bloc de construction de QPACE est la carte de nœud, qui héberge le PowerXCell 8i et le FPGA. Les cartes de nœud sont montées sur des fonds de panier, chacun pouvant héberger jusqu'à 32 cartes de nœud. Un rack QPACE abrite jusqu'à huit fonds de panier , avec quatre fonds de panier chacun montés à l'avant et à l'arrière. Le nombre maximal de cartes de nœud par rack est de 256. QPACE s'appuie sur une solution de refroidissement par eau pour atteindre cette densité de conditionnement.

Seize cartes de nœuds sont surveillées et contrôlées par une carte d'administration distincte, appelée carte racine. Une carte d'administration supplémentaire par rack, appelée carte super-racine, est utilisée pour surveiller et contrôler les alimentations. Les cartes racines et les cartes super-racines sont également utilisées pour la synchronisation des nœuds de calcul.

Le cœur de QPACE est le processeur multicœur IBM PowerXCell 8i . Chaque carte de nœud héberge un PowerXCell 8i, 4 Go de SDRAM DDR2 avec ECC , un FPGA Xilinx Virtex-5 et sept émetteurs-récepteurs réseau . Un seul émetteur-récepteur Ethernet 1 Gigabit connecte la carte de nœud au réseau d'E/S. Six émetteurs-récepteurs 10 Gigabit sont utilisés pour transmettre des messages entre les nœuds voisins dans un maillage toroïdal tridimensionnel .

Le coprocesseur réseau QPACE est implémenté sur un FPGA Xilinx Virtex-5, qui est directement connecté à l' interface E/S du PowerXCell 8i. Le comportement fonctionnel du FPGA est défini par un langage de description matérielle et peut être modifié à tout moment au prix d'un redémarrage de la carte de nœud. La plupart des entités du coprocesseur réseau QPACE sont codées en VHDL .

Le coprocesseur réseau QPACE connecte le PowerXCell 8i à trois réseaux de communication :

• Le réseau tore est un chemin de communication à haut débit qui permet la communication entre voisins proches dans un maillage toroïdal tridimensionnel . Le réseau tore s'appuie sur la couche physique de 10 Gigabit Ethernet , tandis qu'un protocole de communication conçu sur mesure et optimisé pour les messages de petite taille est utilisé pour la transmission des messages. Une caractéristique unique de la conception du réseau tore est la prise en charge de la communication sans copie entre les zones de mémoire privées, appelées magasins locaux, des éléments de traitement synergétique (SPE) par accès direct à la mémoire . La latence de communication entre deux SPE sur des nœuds voisins est de 3 μs. La bande passante maximale par lien et par direction est d'environ 1 Go/s.
• L'Ethernet 1 Gigabit commuté est utilisé pour les E/S de fichiers et la maintenance.
• Le réseau de signaux global est un système simple à 2 fils organisé en réseau arborescent. Ce réseau est utilisé pour l'évaluation des conditions globales et la synchronisation des nœuds.

Les nœuds de calcul du supercalculateur QPACE sont refroidis par eau. Environ 115 watts doivent être dissipés par chaque carte de nœud. La solution de refroidissement est basée sur une conception à deux composants. Chaque carte de nœud est montée sur un boîtier thermique, qui agit comme un grand dissipateur thermique pour les composants critiques en termes de chaleur. Le boîtier thermique s'interface avec une plaque froide, qui est connectée au circuit de refroidissement par eau. Les performances de la plaque froide permettent d'évacuer la chaleur de 32 nœuds maximum. Les cartes de nœud sont montées des deux côtés de la plaque froide, c'est-à-dire que 16 nœuds chacun sont montés sur le dessus et le dessous de la plaque froide. L'efficacité de la solution de refroidissement permet de refroidir les nœuds de calcul avec de l'eau chaude. La solution de refroidissement QPACE a également influencé d'autres conceptions de supercalculateurs tels que SuperMUC .

Deux installations identiques de QPACE avec quatre racks fonctionnent depuis 2009 :

• Centre de recherche de Juliers
• Université de Wuppertal

La puissance de pointe totale est d'environ 200 TFLOPS en double précision et 400 TFLOPS en simple précision. Les installations sont exploitées par l' Université de Ratisbonne , le Centre de recherche de Juliers et l' Université de Wuppertal .