现阶段到可预见的几十年内，并行处理计算（系统）的结构主要有流水线方式、多功能部件方式、多机方式、阵列方式、数据流方式和网络分布式。
1.流水线方式
“流水线”是起源于制造业工业生产的意向成熟技术，比如汽车制造流水线。类似地，吧许多指令重复的时序过程分解为若干共有的段，交由各段专用的功能块去重叠执行。一条指令顺序流过所有段，这条指令即执行执行完毕并获得结果。当本条指令在本段处理完毕而流入下段是，后序指令便可流入本段，无需等待前条指令便可流入本段，无需等待前条指令整个地执行完毕。因此，在一条流水线上可以同时处理多条指令，设各段的执行时间均为一个时钟节拍，则经过几个节拍短暂的初始阶段之后，每拍可以输出一个结果，从而把指令执行时间压缩到段执行时间，藉以开发时间并行性。
2.多功能部件和多机方式
一台机器配置多个功能部件取代各种运算共用的运算器，此乃多功能部件方式，面对数据海洋，例如浮点加、浮点乘等功能部件，可以吴冲突地给予并行的装置，是的机器本质上就有能力同时执行若干条指令。与此相类似，把多台机器(含处理器)耦合在一起，它们共享主存储器，受同一的操作系统指挥，此乃多处理机方式。
3.阵列方式
在初期的阵列方式里，一台计算机由多个相同的处理单元和一个同一的控制器组成。这个控制器解释指令并传送操作命令到所有处理单元，个处理单元按照控制器的命令同时进行同样的操作(不过操作对象各异，这一点与单流水向量运算相似)。阵列方式分为浮点阵列和位片式阵列两类。它们都借助于多个同步工作的算数运算和逻辑运算部件来实现空间并行性。
4.数据流方式
数据流机器，是受到人们重视的高度并行计算机，它虽然保存了存储程序的做法，但在主要原理上已有别于冯·诺依曼计算机的结构。它不遵循程序计数器之初的执行顺序，只要所需操作数齐备，指令即可被执行，即运算不受控制流驱动，而由数据流驱动。
数据流处理机以语言为基础，使用数据流程序图作为用户语言与计算机结构之间的接口，数据流程序用能动框表示，每个能动框包含多个域，分别存放操作码、操作数和目的地址。数据流程序以能动框集合的方式保存在能动存储器中。数据流处理器不设共享内存存储器，不设程序计数器，也不设控制定序器，其并行性理论上仅受应用程序总的数据相关性制约。任意一条当前的数据相关性容许执行的指令出现，相应的能动框地址立即送入指令排队器，读取部件按地址从存储器中取出能动框，形成操作包，送至操作部件进行处理，产生结果包。修改部件根据结果包的目标地址将结果数据送至规定的能动框作为操作数，并将操作数齐全的指令地址又送至指令配对器。
5.网络分布式
90年代首先兴起于美国的网络并行计算与分布式编程环境，发展势头迅猛。
网络计算是指由分布在不同地点的多个计算主题，利用网络通信传递信息以协同完成预定任务的计算现象。在网络计算中，用户可以分布在全国乃至全球范围内，通过从传统的二层到已有雏形的三层并逐渐演变到多层Client/Server结构的网络服务器中间(Mid-ware)管理应用程序和数据，依赖群件(Group-ware)实现协同计算。用户经由一台相对而言功能甚弱的中断进行集团性功能网络，凭借网络中海量的他人所闲置的能力，去求解规模可小可大的科学与商务问题。