spark架构

Spark遵循主从架构。

它的集群由一个主服务器和多个从服务器组成。

Spark架构依赖于两个抽象：

（1）弹性分布式数据集(RDD)

（2）有向无环图(DAG)

弹性分布式数据集

弹性分布式数据集是可以存储在工作节点上的内存中的数据项组。

（1）弹性：失败时恢复数据。

（2）分布式：数据分布在不同的节点之间。

（3）数据集：数据组