• Master原理


    1、主备切换机制原理剖析与源码分析

    2、注册机制原理剖析与源码分析

    3、状态改变处理机制源码分析

    4、资源调度机制源码分析(schedule(),两种资源调度算法)(核心)

    一、主备切换机制原理

    1、Master主备切换机制:实际上指的就是,在Active Master挂掉之后,切换到Standby Master时, Master会做哪些操作。

    2、Master实际上可以配罟两个,Spark原生的standalone模式是支持 Master主备切换,当Active Master节点挂掉的时候,可以将Standby Master切换为Active Master。

    3、Spark Master主备切换可以基干两种机制,一种是基于文件系统的,一种是基于ZooKeeper的,基于文件系统的主备切换机制,需要在Active Master挂掉之后,由我们手动去切换到Standby Master上,而基于ZooKeeper的主备切换机制,可以实现自动切换Master。

    二、注册机制原理剖析与源码分析

    只有在yarn-cluster模式下提交的时候,才会注册Driver,standalone和yarn-client模式都会直接启动Driver, 而不会来不会注册Driver,就更不可能让master调度Driver了

     

    Application调度机制:

    Application的调度算法有两种:spreadOutApps 和 非spreadOutApps 

  • 相关阅读:
    Django ORM中常用的字段类型以及参数配置
    python enumerate用法总结
    Django 模板渲染
    Django null=True和blank=True的区别
    Django下关于session的使用
    方程组法求函数的解析式
    求数列通项公式的小众方法
    不等式性质
    多项选择题
    对勾型函数
  • 原文地址:https://www.cnblogs.com/suwy/p/9513693.html
Copyright © 2020-2023  润新知