Spark源码解读| 架构| 提交流程| 任务调度

一些名词概念

AM : ApplicationMaster
RM : ResourceManager
NM : NodeManager
Backend : 后台
RpcEnv : RPC 进程和进程的通信协议
RpcEndpoint ： 终端

constructor -> onStart -> receive* -> onStop

RpcEndpointRef ：终端引用

NettyRpcEnv
RpcEndpointAddress
NettyRpcEndpointRef

ThreadSafeRpcEndpoint

Inbox

BIO, NIO, AIO

以yarn-cluster模式为例源码分析作业提交流程

##spark-yarn-cluster模式
bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--num-executors 2 
--master yarn 
--deploy-mode cluster 
./examples/jars/spark-examples_2.11-2.1.1.jar 
100

##spark-yarn-client模式
bin/spark-submit 
--class org.apache.spark.examples.SparkPi 
--num-executors 2 
--master yarn 
--deploy-mode client 
./examples/jars/spark-examples_2.11-2.1.1.jar 
100

Spark-submit提交源码解析

执行spark-submit实际上执行的是$SPARK_HOME/spark-class -->执行一个java类  java  org.apache.spark.launcher.Main调它的main方法（它就是检查参数、构建CommandBuiler指令）--->最终真正要执行 这个类 org.apache.spark.deploy.SparkSubmit xxx是命令行参数，它就会启动一个叫SparkSubmit进程 

SparkSubmit类，对命令行参数进行了封装，准备提交环境，不是集群模式它会拿到指令中的--class所传的类， if (isYarnCluster)-->> org.apache.spark.deploy.yarn.Client 

利用反射通过类名获取类的信息，利用反射通过类信息获取Main方法，调用Client的main方法： Client的调用只是一个普通方法的调用

根据yarn的配置进行初始化创建yarn客户端准备去跟yarn打交道（要有yarn的server集群）， yarnClient.start()启动客户端，获取一个appId,yarn的全局id，根据id可以查询它的所有信息；
 Client向yarn的RM提交应用, 集群模式通过submitApplication来完成，启动JAVA_HOME/bin/java org.apache.spark.deploy.yarn.ApplicationMaster这个进程类（主要是为了与Yarn做关联）

这些commands上边封装好的指令|类都提交给yarn，由yarn来执行，这时Client客户端就结束了；

spark-submit 它实际上调用的是"${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit （java中的类）
   　　 spark-class中：   RUNNER="${JAVA_HOME}/bin/java"  ##执行java.exe-->类 -->相当于启动一个JVM -->就是启动一个进程Process（进程中有独立内存、线程）
                  　　  "$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH"(#就是类路径) org.apache.spark.launcher.Main <=>等同于执行Main这个类，调用main方法
                   　　 build_command()构建指令； 最终是要执行SparkSubmit ##className.equals("org.apache.spark.deploy.SparkSubmit")
org.apache.spark.launcher.Main    
org.apache.spark.deploy.SparkSubmit  --xx等参数

SparkSubmit类

          // 对命令行参数进行封装
    -- 1. new SparkSubmitArguments(args) //命令行参数包含master、deployMode、executorMemory等 ；在scala中，类{ 类体or构造函数体 }，参数中类体，类初始化时都会执行
    　　　　　　　　parse(args.asJava)类体中；parse方法做了正则的匹配 Pattern.compile("(--[^=]+)=(.+)") ==> handle (源码326)方法对传的命令行参数做模式匹配；
　　　　　　　　　　SparkSubmit类，appArgs.action.match{ SUBMIT| ... }模式匹配，action在SparkSubmitArguments做了封装  action = Option(action).getOrElse(SUBMIT)
    -- 2. submit（SparkSubmit中的方法）
               // 准备提交环境
        -- 2.1 prepareSubmitEnvironment
        
        -- 2.2 doRunMain（声明了但没有执行） isStandaloneCluster 和 其他模式都会走doRunMain方法
        
        -- 2.3 runMain(childArgs, childClasspath, sysProps, childMainClass, args.verbose)参数来自提交对环境准备  <--if (args.proxyUser != null)
        
            -- 2.3.1 ClassLoader : Thread.currentThread.setContextClassLoader(loader)  //loader类加载器，把类放到集群的节点上去执行；
            
                     // childMainClass（Client）  ： org.apache.spark.examples.SparkPi //不是集群模式它会拿到指令中的--class所传的类
                     // childMainClass（Clustor） ： org.apache.spark.deploy.yarn.Client  // if (isYarnCluster)集群模式
　　　　　　　　　　　　// 反射：通过类名获取类的信息 
            -- 2.3.2 mainClass = Utils.classForName(childMainClass) //var mainClass: Class[_] = null,Class为类的全部信息；
                     // 反射：通过类信息获取Main方法
            -- 2.3.3 val mainMethod = mainClass.getMethod("main", new Array[String](0).getClass)
                     // 反射：调用main方法
            -- 2.3.4 mainMethod.invoke(null, childArgs.toArray)

Client
　　　　　　Client的调用只是一个普通方法的调用；如果是进程：java Client=》JVM=》Process； 如果是线程：Thread.start() ； 普通方法调用: method.invoke
          // 对命令行参数进行封装
    -- 1. new ClientArguments(argStrings) //在main方法中 
    
    -- 2. new Client(args, sparkConf).run() //它会去调用辅助构造方法-->一定会会去调用主构造方法
    　　　　　　private val yarnClient = YarnClient.createYarnClient //它去创建yarn客户端准备去跟yarn打交道（要有yarn的server集群）
　　　　　　　　private val amMemory = if (isClusterMode) //ApplicationMaster的内存
　　　　　　　　  ...等等，主要是去构造属性、方法和对象

    -- 3. client.run //创建好了对象.run
        -- 3.1 submitApplication  //this.appId = submitApplication() 提交应用；
        　　　　　　launcherBackend.connect() //Backend叫后台
　　　　　　　　　　 yarnClient.init(yarnConf) 根据yarn的配置进行初始化； yarnClient.start()启动客户端 ，目的是与yarn做交互；
　　　　　　　　　　　appId = newAppResponse.getApplicationId()//获取一个appId,yarn的全局id，根据id可以查询它的所有信息；
　　　　　　　　　　　　yarnClient.submitApplication(appContext) //Client向yarn的RM提交应用，由submitApplication（抽象方法->实现类）来完成；
　　　　　　　　　　　　rmClient.submitApplication(request); //跟RM做关联

                // commands(Client)： JAVA_HOME/bin/java org.apache.spark.deploy.yarn.ExecutorLauncher //不是集群模式 Spark-shell只能是client模式，不能是集群！！
                // commands(Clustor)：JAVA_HOME/bin/java org.apache.spark.deploy.yarn.ApplicationMaster//如果是集群模式，isClusterMode就把类对名字给amClass;启动一个ApplicationMaster进程
　　　　　　　　　　//这些commands上边封装好的指令类都提交给yarn，由yarn来执行，这时Client客户端就结束了；
            -- 3.1.1 createContainerLaunchContext   //要去封装一个指令bin/java  javaOpts ++ amArgs(这个参数中Seq（amClass）) ++
        　　　　　　　　　　启动一个进程执行ApplicationMaster
            -- 3.1.2 createApplicationSubmissionContext
val containerContext = createContainerLaunchContext(newAppResponse)
val appContext = createApplicationSubmissionContext(newApp, containerContext) //它调用的是上边的；

                // 向Yarn提交应用
            -- 3.1.3 yarnClient.submitApplication(appContext) //把上边封装好的给yarnClient（相当于这些指令发给它）；在yarn中执行，Client把类提交给yarn之后就完成了

 yarn的调度流程 https://www.cnblogs.com/shengyang17/p/10321228.html 

SparkSubmit进程（启动一个java虚拟机即启动一个进程名字就叫SparkSubmit） -->调用Client方法，YarnClient去创建yarn客户端并启动， submitApplication()---launcherBackend.connect() ；

Client的submitApplication（抽象方法->去找它的实现类YarnClientImpl）向RM提交应用完成之后； rmClient.submitApplication(request)来跟RM做关联；  

createContainerLaunchContext去启动一个进程执行ApplicationMaster；

yarnClient.submitApplication(appContext) //把上边封装好的给yarnClient（相当于这些指令发给它），Client把类提交给yarn之后就完成了

ApplicationMaster

    -- 1. main
    
        -- 1.1. new ApplicationMasterArguments(args) //同上，封装了--jar, --class等
        -- 1.2. master = new ApplicationMaster(amArgs, new YarnRMClient)
        　　　　　　yarnConf 
　　　　　　　　　　heartbeatInterval心跳周期
　　　　　　　　　　RpcEnv : RPC 进程和进程的通信协议
　　　　　　　　　　RpcEndpoint ： 终端    RpcEndpointRef：终端引用
        -- 1.3. master.run
                // 集群模式它运行的是Driver；如果不是集群模式运行的就是ExecutorLauncher
            -- 1.3.1 runDriver() //isClusterMode

// 启动用户应用 就是提交的类
                -- 1.3.1.1 startUserApplication()--->即启动一个Driver线程
                        // 从命令行参数中获取--class的值，然后获取main方法；  用类加载器加载类 userClass封装类名（从命令行中获取）
                    --     val mainMethod = userClassLoader.loadClass(args.userClass).getMethod("main", classOf[Array[String]])
　　
                    -- new Thread("Driver").start() ==> --class.invoke(main) 
                    　　启动之前：userThread.setContextClassLoader(userClassLoader) //类加载器放进去
　　　　　　　　　　　　　　userThread.setName("Driver") //真正的Driver是一个线程，只是把这个线程起个名字叫Driver
　　　　　　　　　　　　　　userThread.start() //启动之后肯定会运行线程的run方法  mainMethod.invoke(main);创建SparkConetext的那个类叫Driver，就是你写的那个main方法
　　　　　　　　　　　　　　虽然start，但什么时候执行不确定， userClassThread.join() //主线程不能结束，要等待它
　　　　　　　　　　　　　　　　　　rpcEnv = sc.env.rpcEnv构建环境对象
　　　　　　　　　　　　　　
                    // 向Yarn注册AM
                -- 1.3.1.2 registerAM()//client. 
                　　　　allocator = client.register()
　　　　　　　　　　　　　　allocator.allocateResources() 它们进行注册和分配，申请资源，看看哪个资源可用 allocateResources资源列表；
　　　　　　　　　　　　　val allocatedContainers = allocateResponse.getAllocatedContainers() //以container的形式把资源给你，allocatedContainers是列表　
                    // 分配可用资源 （移动数据不如移动计算（计算在Driver，数据在executor，任务task发给哪个节点），本地化级别）
                    -- handleAllocatedContainers
                    　　　　本地化（计算和数据在同一个进程里）本地化(进程本地化即计算和数据中同一个进程 |节点本地化即一个节点有多个executor，发给另外一个executor|机架本地化，发给另外一个nodemanager)
                        -- runAllocatedContainers() //运行已经分配好的容器 
                        
                            -- launcherPool.execute（线程） <-- if(launchContainers)  private val launcherPool = ThreadUtils.newDaemonCachedThreadPool //ThreadPool线程池 --> val threadPool = new ThreadPoolExecutor(),底层还是调用了jdk的线程池的操作
                            　　　　launcherPool.execute(new Runnable{ run(方法 new ExecutorRunnable).run( 与nmClient(即nodemanager的关联) ) }) //启动一个线程来执行操作，从线程池里边去执行一个线程
                            -- ExecutorRunnable.run() //nmClient.init(conf)  nmClient.start()  startContainer() 要去连接NM
                            
                                -- nmClient.start()
                                // 启动容器
                                -- startContainer
                                       // JAVA_HOME/bin/java org.apache.spark.executor.CoarseGrainedExecutorBackend //执行器的后台，数据对接收处理，在NM中执行；
                                    -- val commands = prepareCommand()
                                    
                                    -- nmClient.startContainer(container.get, ctx) //由NM（AM就在这里边）来启动这个容器；xtx就是commands指令
                    
CoarseGrainedExecutorBackend 粗粒度的
     -- 1. main
     
        -- 1.1. run  //var executor: Executor = null //所谓的Executor是后台CoarseGrainedExecutorBackend的一个计算对象，就是一个属性；
        　　SparkEnv.createExecutorEnv()   env.rpcEnv.setupEndpoint()
                 env.rpcEnv.awaitTermination() //主线程不会结束，需要等待它的结束 
　　　　　　　　　　 executor = new Executor() //在里边构建对象，跟CoarseGrainedExecutorBackend关系是很紧密的
　　　　　　　　　　　　case LaunchTask(data) => executor.launchTask() //executor启动任务
　　　　　　　　 -- 1.1.1 env.rpcEnv.setupEndpoint("Executor", new CoarseGrainedExecutorBackend //把当前的Executor对象创建出来； setupEndpoint设置，它是个抽象方法=>实现类NettyRpcEnv
　　　　　　　　　　　　　　　　override def setupEndpoint(): RpcEndpointRef = {dispatcher.registerRpcEndpoint(name, endpoint)} //把当前对象进行封装成name把它绑定中一起，形成注册效果就可以实现消息对发送和接收；
　　　　　　　　　　　　　　　　registerRpcEndpoint完成注册

ApplicationMaster
master = new ApplicationMaster.run()即runDriver()->startUserApplication()--->即启动一个Driver线程（通过反射来获取类名）.join()还没启动， 向Yarn注册AM--registerAM
client.register().allocateResources() 进行注册和分配，申请资源，看看哪个资源可用 allocateResources资源列表； allocateResponse.getAllocatedContainers() //以container的形式把资源给你

分配可用资源--handleAllocatedContainers--runAllocatedContainers() //运行已经分配好的容器 

if(launchContainers)--> launcherPool.execute（线程）->.run(ExecutorRunnable.run())，nmClient(即与nodeManager的关联)
nmClient.init(conf)  nmClient.start() nmClient.startContainer(container.get, ctx) //由NM（AM就在这里边）来启动这个容器

CoarseGrainedExecutorBackend 
所谓的Executor是后台CoarseGrainedExecutorBackend的一个计算对象，就是一个属性；
case LaunchTask(data) => new Executor().launchTask() //executor启动任务

    RpcEndpointAddress
    NettyRpcEndpointRef
    new EndpointData() //往终端里传数据 --> val inbox = new Inbox(ref, endpoint)//收件箱
            -->inbox.synchronized {messages.add(OnStart)} //往消息里发送数据，给当前终端CoarseGrainedExecutorBackend发送OnStart消息
            当前终端是可以通信的；ThreadSafeRpcEndpoint extends RpcEndpoint； RpcEndpoint终端是有生命周期的：
          　 The life-cycle of an endpoint is: constructor构造方法 -> onStart启动 -> receive* -> onStop关闭
    CoarseGrainedExecutorBackend接收到消息就会去调用OnStart 
　　　　　　 -->rpcEnv.asyncSetupEndpointRefByURI(driverUrl).flatMap 通过URI异步的去安装引用，通过一个地址得到远程对象对引用
    通过driverUrl地址建立了两个executor之间的通信，而且是异步发送；
    "Connecting to driver: " + driverUrl 找到Driver所在进程(AM)，异步的这个操作等同于拿到了与ApplicationMaster的关系；
    driver = Some(ref) 起完driver
      ref.ask[Boolean](RegisterExecutor()) 发送RegisterExecutor请求，它会去反向注册
      driver应该接收消息，它是一个线程不能接收，通过以下方法：
     　　 SparkContext 中SchedulerBackend属性 它的实现类CoarseGrainedSchedulerBackend(driver这边的引用)，而CoarseGrainedExecutorBackend是executor的后台引用；
      它们之间通信，刚刚ref发送了消息，它就接收到--->case RegisterExecutor  在PartialFunction偏函数中(所有的模式匹配的case都是)；
        反向注册就是建立executor和driver之间的关系；
        if (executorDataMap.contains(executorId)) {
          executorRef.send(RegisterExecutorFailed("Duplicate executor ID: " + executorId)) 
          //如果executorDataMap的数据集合中包含executorId，它向executor的引用发送注册失败的消息；else就启动
          context.reply(true)
          executorRef.send(RegisteredExecutor)//向远程的executor引用发送消息说在driver中已经注册好了可以启动了；
        } 

 

①脚本启动，执行SparkSubmit里面的main方法；

②反射获取Client类里边的main方法；

③封装并发送指令：bin/java ApplicationMaster

④选择一台NM机器启动AM

执行spark-submit实际上执行的是$SPARK_HOME/spark-class -->执行一个java类  java  org.apache.spark.launcher.Main调它的main方法（它就是检查参数、构建CommandBuiler指令）--->最终真正要执行 这个类 org.apache.spark.deploy.SparkSubmit xxx是命令行参数，它就会启动一个叫SparkSubmit进程 

SparkSubmit类，对命令行参数进行了封装，准备提交环境，不是集群模式它会拿到指令中的--class所传的类， if (isYarnCluster)-->> org.apache.spark.deploy.yarn.Client 

利用反射通过类名获取类的信息，利用反射通过类信息获取Main方法，调用Client的main方法： Client的调用只是一个普通方法的调用

根据yarn的配置进行初始化创建yarn客户端准备去跟yarn打交道（要有yarn的server集群）， yarnClient.start()启动客户端，获取一个appId,yarn的全局id，根据id可以查询它的所有信息；
 Client向yarn的RM提交应用, 集群模式通过submitApplication来完成，启动JAVA_HOME/bin/java org.apache.spark.deploy.yarn.ApplicationMaster这个进程类（主要是为了与Yarn做关联）

这些commands上边封装好的指令|类都提交给yarn，由yarn来执行，这时Client客户端就结束了；

RM找一个节点NM来启动ApplicationMaster--java command；虽然只是不是集群模式它的类是ExecutorLauncher，但底层它同样还是调用的是ApplicationMaster.main;

集群模式 集群模式它运行的是Driver，启动用户应用 就是--class提交的类（通过类加载器）；

new Thread("Driver").start() Driver只是ApplicationMaster进程中的一个线程起名叫Driver； 之后它运行的是--class.invoke(main)就是你写的那个有sparkContext的main方法的那个类
称为Driver类；  向Yarn的RM注册AM，并申请资源；RM会返回一个资源列表，去进行分配资源，资源是以container的方式；

分配可用资源 （移动数据不如移动计算（计算在Driver，数据在某个节点executor，driver来分配任务task发给哪个节点），本地化级别）；
AM建立与NM的关联，向指定的资源NM发送指令； NM就会启动，它启动它的container容器；

//启动一个进程 JAVA_HOME/bin/java org.apache.spark.executor.CoarseGrainedExecutorBackend //执行器的后台，数据对接收处理，在NM中执行，粗粒度的执行器后台

；所谓的Executor是后台CoarseGrainedExecutorBackend的一个计算对象，就是一个属性；

反向注册就是建立executor和driver之间的关系，告诉driver我有一个executor已经启动了；

向远程的executor引用发送消息说在driver中已经注册好了可以启动了；

RDD中的数据变成一个个分区的数据，一个个分区变成任务

RDD（对数据计算逻辑的 抽象，里边没有数据）提交

任务的划分、分配、执行

RDD

    -- 1. collect
    
        -- 1.1 SparkContext.runJob
        
            -- dagScheduler.runJob() //有向无环图,有放向不能形成一个环，血缘关系形成的一个有向无环图调度器；
            
                -- submitJob()
                
                    -- eventProcessLoop.post( JobSubmitted()) //它等同往里边放了一个样例类；发送消息JobSubmitted
                    
                    -- dagScheduler.handleJobSubmitted() //接收到JobSubmitted消息
                    
DAGScheduler

    -- 1. handleJobSubmitted
    
            // 划分阶段-Stage 
        -- 1.1 createResultStage  //finalStage = createResultStage(finalRDD, func, partitions, jobId, callSite)  val job = new ActiveJob()构建job对象即一个作业；有多个行动算子即执行了多个作业；
            // 提交阶段,有多少个阶段State  val missing = getMissingParentStages(stage).sortBy(_.id) 这个阶段有没有上级即上一饿阶段Stage呢
        -- 1.2 submitStage  
        
                // 提交任务 ，如果有上一个阶段就提交上个阶段，如果还有上个阶段就继续提交上个阶段，如果没有就提交现阶段中的任务
            -- 1.2.1 submitMissingTasks提交任务，missing表没有上级了  //if (missing.isEmpty) 如果上一个阶段为空没有，则submitMissingTasks提交task //如果有阶段就把上一个阶段给提交了 submitStage(parent)
                // 将任务进行封装，进行调度  stage 模式匹配 ShuffleMapStage | ResultStage ，spark中只有两种模式匹配；
                                    val tasks: Seq[Task[_]] 构建任务集合{对stage进行操作}
                                    如果上ShuffleMapStage会计算分区partitionsToCompute.map  <=>new ShuffleMapTask多少个分区变成多少个任务
                                    
            -- 1.2.2 taskScheduler.submitTasks（TaskSet）//任务调度器提交任务<--if (tasks.size > 0), 把任务封装成一个TaskSet集合传进来
                                    submitTasks的实现类TaskSchedulerImpl；   backend.reviveOffers()
                                    reviveOffers的实现类CoarseGrainedSchedulerBackend ->reviveOffers->makeOffers()-->launchTasks(scheduler.resourceOffers(workOffers))
                                    
            // 启动任务
            -- 1.2.3 launchTasks  //拿到了一个个任务； val serializedTask = ser.serialize(task)序列化
                    executorData.executorEndpoint.send(LaunchTask(new SerializableBuffer(serializedTask)))从executor中取出一个终端，从当前后台去找的executor的后台
                    发送一个LaunchTask启动任务的消息
            
CoarseGrainedExecutorBackend

    -- LaunchTask  //receive接收到一个消息LaunchTask，表让executor执行这个任务 val taskDesc = ser.deserialize[TaskDescription](data.value)反序列化
    
        -- executor.launchTask() //拿到任务，executor再去启动 --> val tr = new TaskRunner(context, taskId = taskId, attemptNumber = attemptNumber, taskName,serializedTask)
            // 运行任务                  threadPool.execute(tr) //线程池在执行某个线程操作即TaskRunner extends Runnable -->run
            -- task.run //释放内存更新状态等；
            

DAGScheduler

划分阶段 finalStage = createResultStage(finalRDD..)；

ShuffleMapStage | ResultStage ，spark中只有两种模式匹配；

 taskScheduler.submitTasks（TaskSet）//任务调度器提交任务<--if (tasks.size > 0), 把任务封装成一个TaskSet集合传进来；

Spark通信架构

RPC通信:远程过程(服务)调用-(两个进程之间的通信)
RPC的实现有多种，其中有RMI，原理：
一个Process1中的client去调用它的service，要让Process2中的service去执行；通过socket，两个进程的service一定是个接口，那么client怎么去调用接口呢
通过动态代理(把接口代理为对象来使用)，client通过代理对象Proxy与service去关联，代理对象会完成两个进程中socket的交互；

有封装好的框架可以使用；

Spark2.x版本使用Netty通讯框架作为内部通讯组件。spark 基于netty新的rpc框架借鉴了Akka的中的设计（随着版本升级已不再使用Akka，用Netty），它是基于Actor模型；

 Actor模型

Actor模型：
有多个对象，Object1, Object2 、Object3都给Object1发消息，都可以发消息(异步操作，发完该干嘛干嘛去；同步是发完之后不能做别的要等待它的返回)，但消息的先后由自己决定 
接收消息的一方Object1有个收件箱Inbox(消息不是马上执行的)，它会去周期性的去取即轮询操作，有就去处理；
Object1从Inbox中查询到消息，发件箱Outbox(对应每一个对象)，可以有多个发件箱可以同时发送
Outbox(Object2) ---> Object2中相应的要有收件箱Inbox(query)，则Object1中要有Object2中地址的引用；
Actor模型中不叫Object了改叫EndPoint，Outbox(Object2)中的Object2引用改叫EndPointRef
Ref即远程的引用，要有地址去连接RpcAddress，终端和终端的引用互相发生关联；

Endpoint（Client/Master/Worker）有1个InBox和N个OutBox，每一个引用就是一个OutBox，多个OutBox可以同时发送消息

 

Netty 

NETT底层还是socket

IO中三种不同的处理方式：
BIO(最慢，阻塞式IO，读取文件时要等着不能去做别的事),
NIO(非阻塞式IO), 性能高，拿一个线程不断的去轮询，还可以去做其他事(只是在做事的过程中要不断的去问下好了没); 也叫多路IO复用，redis linux中
AIO(异步非阻塞式IO)，读取文件时遇到阻塞可以去做别的事，没有阻塞了它会把文件直接发送给你，不需你不断的去轮询的去问   
　　　　Netty就是基于AIO的  ；但是linux中不能用，windows可以

NettyRpcEnv是整个通信的环境，RpcEndpoint 终端，可以send和ask消息，还可以receive接收消息，请求和接收消息都要走Dispatcher调度器，它来决定你发送的消息该往收件箱还是发件箱走；在收件箱按照队列方式排列好，周期性的去取FIFO（先进先出），消息处理完之后发往send另外一个RpcEndPoint，往发件箱OubBox里走（会有一个远程地址RpcEndpointAddress-->该给谁发消息）；发消息时会有一个TransportClient，往远程去发（通过Netty网络通信去发）；

远程TransportServer接收消息又回到了Inbox，处理再返回；  ===>整个过程形成8字环绕

 

Spark任务调度

RDD是对数据计算逻辑的抽象；真正执行（行动算子）的时候才会计算； 

在DAGScheduler的handleJobSubmitted这个方法中完成了阶段的划分 finalStage = createResultStage(finalRDD, func, partitions, jobId, callSite)
--->val stage = new ResultStage(id, rdd, func, partitions, parents, jobId, callSite) //结果阶段，作业执行一遍这个对象也是就创建一遍
把当前作业当作整体形成完整的阶段--称作ResultStage
 val parents = getOrCreateParentStages(rdd, jobId) //参数rdd是handleJobSubmitted(finalRDD，xxx)给的，即当前要执行行动算子的rdd叫做finalRDD
  private def getOrCreateParentStages(rdd: RDD[_], firstJobId: Int): List[Stage] = {
    getShuffleDependencies(rdd).map { shuffleDep =>  
    //把rdd传进去获取shuffle的依赖关系，.map把得到的结果进行转换；getShuffleDependencies返回的结果是parents  val parents = new HashSet[ShuffleDependency[_, _, _]]
                                    case shuffleDep: ShuffleDependency[_, _, _] => parents += shuffleDep
                                        先压栈new Stack[RDD[_]].push(rdd)，循环如果不为空就弹出来.pop()
                                        判断依赖关系中有没有shuffle依赖，有就加上 parents += shuffleDep
                                    case dependency => waitingForVisit.push(dependency.rdd)//没有shuffle就把上一层的rdd取出来，再做循环，push、pop不断的取上一级做判断
      getOrCreateShuffleMapStage(shuffleDep, firstJobId)  //它又new ShuffleMapStage()
    }.toList
  }
ShuffleMapStage和ResultStage两个阶段，最后构建job、设定、提交submitJob

 spark任务的划分、分配和执行

 RDD读取file数据（按一行一行的读取），放到3个分区；发现0号分区不是想要的比如统计wordcount，分解产生了一个新的rdd（所有的转换算子等同于产生了一个新的rdd，rdd是不可变数据集），把一行一行数据变成一个个的，flatMap；转换结构如(a, 1)这样的结构map；reduceBykey打乱重组，产生shuffle过程

有向无环图的调度器，运行并且提交job作业（会进行简单的判断，jobWaiter传到样例类一旦发生特殊事件就产生特殊的方法 handlerJobSubmit完成了整个过程的阶段划分resultStage）； 把当前作业当成一个整体，形成了一个完整的阶段称为resultStage； 

阶段怎么划分成一个个任务的了？ 

    
map->new MapPartitionsRDD -->extends RDD[U](prev)-->def this(@transient oneParent: RDD[_]) =this(oneParent.context, List(new OneToOneDependency(oneParent)))
OneToOneDependency[T](rdd: RDD[T]) extends NarrowDependency[T](rdd) ,源码中只有窄依赖，不是窄的就是宽的呗就是有shuffle的
创建了两个Stage，给的是finalStage, 创建job，提交submitStage(finalStage)
val missing = getMissingParentStages(stage).sortBy(_.id)    //看看有没有上一级的阶段即查找ShuffleMapStage
    new HashSet[Stage].push(stage.rdd) 把当前的rdd传到栈里-压栈，---不为空-->弹栈.pop() 
    -->visit() rdd.dependencies取出它的依赖关系，找到shuffle的依赖关系，val mapStage = getOrCreateShuffleMapStage(shufDep, stage.firstJobId)有就拿来没有就创建新的
    missing += mapStage //放到hashSet里  missing.toList
    missing不为空 --> for (parent <- missing) {submitStage(parent)}循环遍历提交每一个Stage
    准备提交ResultStage时把它ShuffleMapStage取出来； submitStage(parent)}又自己调自己，找它ShuffleMapStage的上一级，为空-->submitMissingTasks(stage, jobId.get)提交任务
    提交的是shuffleStage，找的时候是一层层往上找，提交时是从最开始那一层层往下submitWaitingChildStages(stage)
    提交任务：
    只有两种类型的Stage
    case s: ShuffleMapStage =>
    case s: ResultStage =>
        taskIdToLocations，最优位置决定计算在哪里算，task和位置进行关联来决定在哪个executor中执行 getPreferredLocs(stage.rdd, p)
        
    case stage: ShuffleMapStage => partitionsToCompute.map计算分区 locs part ShuffleMapTask //一个阶段中多个分区map转换一个分区形成一个任务
    case stage: ResultStage =>  p locs part ResultTask
用shuffle来划分stage，因为shuffle是要落盘的；flatmap、map处理数据中间不停留，直接处理往下走，RDD之间每个分区的数据都是连贯的，但是
在shuffle阶段它就不连贯了，在这个阶段它要等待所有的数据都处理完了，shuffle是要全落盘的；这也是划分阶段的原因；
任务跟阶段有关系，有多少个分区就有多少个任务
taskScheduler.submitTasks(new TaskSet()) //任务的调度器它来提交任务，封装成任务集
     val manager = createTaskSetManager(taskSet, maxTaskFailures)//任务集管理器
     schedulableBuilder.addTaskSetManager(manager, manager.taskSet.properties) //manager会放到任务池中
     --->FIFOSchedulableBuilder 可以往里边放任务addTaskSetManager{ rootPool.addSchedulable(manager)} //任务池，TaskPool把任务划分好了来不及执行，可能划分好任务时资源还没申请到，
backend.reviveOffers()  --> launchTasks(scheduler.resourceOffers(workOffers))查找任务集        
resourceOffers 看看有没有可用的资源executor， 拿到之后 launchTasks()[TaskDescription] ser.serialize(task)把任务序列化，executorData，executorData.executorEndpoint.send(LaunchTask(new SerializableBuffer(serializedTask)))
找到executor向它的终端发送消息--启动task，把得到的任务发送过去；
反向注册目的是启动一个Executor之后告诉Driver我准备好了-->可以发任务了；
启动：
 case LaunchTask(data) => if (executor == null) -->val taskDesc = ser.deserialize[TaskDescription](data.value)反序列化得到任务对象
 executor.launchTask() -->run()  task.run() //只有两种task
 以ResultTask为例：
    runTask(),shuffle前把数据写到文件里-->rdd.iterator读取数据func(context, rdd.iterator(partition, context))
    -->ShuffleRDD中 compute  .getReader  .read() 读取的是shuffle之前往里写的数据
    -->ShuffleMapTask阶段的最后一个RDD  runTask() .getWriter 由它来写
    
    

taskScheduler.submitTasks(new TaskSet()) //任务的调度器来提交任务，把任务封装成一个TaskSet任务集
val manager = createTaskSetManager(taskSet..)//任务集管理器
schedulableBuilder.addTaskSetManager(manager, manager.taskSet.properties) //manager会放到任务池中
-->FIFOSchedulableBuilder 可以往里边放任务addTaskSetManager{ rootPool.addSchedulable(manager)} //任务池

backend.reviveOffers(), launchTasks(scheduler.resourceOffers(workOffers))查找任务集, 拿到之后launchTasks(), ser.serialize(task)把任务序列化

特质SchedulerBackend--实现类--> CoarseGrainedSchedulerBackend它是(driver这边的引用)；