• 两种类型的Spark RDD task解析以及iterator解析 -- (视频笔记)


    spark 每次提交一个作业,都会划分成不同的stage,除了最后一个stage(shuffle map task),前边的stage属于一种类型(result task)。

    spark中的job,内部是由具体task构成,由于spark的调度模式根据宽依赖的模式划分成不同的stage,而我们从spark获取结果,是从最后一个stage中获取的。

    stage内部有不同的任务,任务被提交到集群的计算节点,计算节点计算逻辑的时候,在excutor中

    线程池中的线程中运行,线程会调用具体的run方法执行。

    最后一个stage task类型为result类型,之前的所有的类型都为shuffle map task类型。

    RDD objects:建DAG图,

    DAGschedule:根据DAG图,将任务划分为不同的stage即task

    TaskScheduler:cluster 获取task,并分配给worker和重试失败的任务。(shuffle map task和result task)

    shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。

    worker:执行具体的task,两种taks都包含runtask 方法,方法中执行的iterator,iterator中包含cache判断。(可以在源码中查看到)

  • 相关阅读:
    spring-boot BUG 集锦
    彻底卸载mysql
    mybatis -generator 逆向工程
    内网穿透工具使用
    Spring 笔记
    maven项目 @Resource报错 ava.lang.NoSuchMethodError: javax.annotation.Resource.lookup()Ljava/lang/String;
    log4j配置及异常、解决办法
    from…import * 语句与 import 区别
    python:__file__
    python安装yaml
  • 原文地址:https://www.cnblogs.com/isenhome/p/5086130.html
Copyright © 2020-2023  润新知