集群模式相关概念

1.集群遵循主(Master)-从(Worker)机构：在不同的集群管理器模式下，Master和Worker映射的内容有所不同
　　在Standalone模式下：主【Master守护进程】和从【Worker守护进程】
　　在on Yarn模式下：主【ResourceManager守护进程】和从【Nodemanager守护进程】

2.驱动器(Driver)和执行器(executor)
　　驱动器和执行器生命周期以应用为准。
　　驱动器节点和所有的执行器节点一起被称为一个Spark 应用（application）。

3.集群管理器

4.驱动器作用：
　　1.应用程序的入口，它执行用户编写的用来创建SparkContext、创建RDD，以及进行RDD的转化操作和行动操作的代码。
　　2.将程序(对RDD处理)转换为任务(Task)
　　　　Spark 驱动器程序负责把用户程序转为多个物理执行的单元，这些单元也被称为任务task
　　　　Spark 程序其实是隐式地创建出了一个由操作组成的逻辑上的有向无环图（Directed Acyclic Graph，简称DAG）
　　3.为执行器节点调度任务

5.执行器作用：
　　1.Spark执行器节点是一种工作进程，负责在Spark作业中运行任务，任务间相互独立。
　　2.Spark应用启动时，执行器节点就被同时启动，并且始终伴随着整个Spark应用的生命周期而存在。