Worldlex Wiki 
Le ralentissement parallèle est un phénomène de calcul parallèle où la parallélisation d'un algorithme parallèle au-delà d'un certain point entraîne un ralentissement de l'exécution du programme (qui prend plus de temps à s'exécuter jusqu'à son achèvement).
Le ralentissement parallèle résulte généralement d'un goulot d'étranglement des communications. À mesure que des nœuds de processeur sont ajoutés, chaque nœud de traitement passe progressivement plus de temps à effectuer des communications qu'à effectuer des traitements utiles. À un moment donné, la surcharge de communication créée par l'ajout d'un autre nœud de traitement dépasse la puissance de traitement accrue fournie par ce nœud, et un ralentissement parallèle se produit.
Le ralentissement parallèle se produit lorsque l'algorithme nécessite une communication importante, notamment sur les résultats intermédiaires. Certains problèmes, appelés problèmes de parallélisme gênant , ne nécessitent pas une telle communication et ne sont donc pas concernés par le ralentissement.