Pour accélérer un calcul, il est toujours intéressant de faire plusieurs opérations en parallèle.< ;br/> ;
On a rapidement remplacé les opérateurs série des premiers ordinateurs (addition bit à bit) par des opérateurs parallèles (8, 16, 32, 64 bits…). Puis on a placé plusieurs opérateurs (multiplicateurs…) côte à cote.< ;br/> ;
Maintenant on groupe les micro-processeurs dans un même ordinateur : dual-core, quadri-core. Dans le même temps les super-ordinateurs utilisent des matrices de centaines, milliers de micropreocesseurs travaillant en parallèle.
Seymour Cray (1925-1996) Ingénieur américain, il fut co-fondateur de la société « Control Data » puis fondateur de « Cray Research ». Pendant 30 ans, il créa les ordinateurs les plus rapides au monde.
Dès le Control Data 6600, Seymour Cray utilisait plusieurs opérateurs arithmétiques : les opérations simples pouvaient continuer à s'exécuter pendant qu'un opérateur spécialisé effectuait une longue multiplication. Le même principe se retrouvait dans les super-ordinateurs Cray.
De nombreux travaux de recherche ont été menés dans les universités et laboratoires CNRS sur les structures matricelles d'ordinateurs et les logiciels adaptés. La société Telmat a développé des machines à base de Transputers dans le cadre du programme européen Esprit.
La société américaine Masspar a développé plusieurs ordinateurs massivement parallèles, commercalisés en liaison avec Digital Equipment. Cette machine-ci était utilisé au CHU de Grenoble pour des recherches en imagerie médicale.