• Yarn一点小认识


    正文

      打开官网http://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-site/YARN.html,将图片拿过来。

      

      我用的是2.6.5的hadoop,2.x的yarn已经进行了升级。首相映入眼帘的是Resource Manager,我们在start-yarn.sh之后jps也可以看到我们的Resource服务。官网介绍了,Resource Manager是有两个组件组成的。The ResourceManager has two main components: Scheduler and ApplicationsManager.

      rm接收到MR程序也就是我们的Client,回去寻找一个合适得节点去创建MRAppMaster。RM主要就是去管理nodemanager和这些MRAppMaster。从图可以看出来,每个node节点都有一个AppMstr, 而AppMaster的任务就是去创建需要多少个maptask,reducetask;AppMaster需要去解析MR程序,解析完毕后去RM申请资源,那么我们的资源就是图上的Container,Container就是要执行一个Task,一个node中会有多个Container也就是多个任务。

      Scheduler 的任务就是分配资源的应用程序,而ApplicationsManager负责提交任务的给哪个容器,如果失败会去重启服务。如果哪个node节点出现故障则不会影响到整体的节点。而1.x是有JobTracer来创建TaskTracer,所有的解析,监督,资源都是有JobTracer一人来干,如果哪个node出现问题,则会导致整体崩溃。

      简单的理解一下,解释的不是很详尽请多见谅,本来跟大家一起学习的态度,希望大家一起交流,希望大牛多多指点。

              i  want  to do something,i know i can do 

  • 相关阅读:
    mysql定时器,定时查询数据库,把查询结果插入到一张表中 阿星小栈
    如何写mysql的定时任务 阿星小栈
    利用mysql游标循环结果集 阿星小栈
    页面可见生Page Visibility
    css之z-index
    css之页面三列布局之左右两边宽度固定,中间自适应
    css之页面两列布局
    jquery源码学习之extend
    jquery源码学习之queue方法
    HTTP状态码详解
  • 原文地址:https://www.cnblogs.com/hackerxiaoyon/p/7678357.html
Copyright © 2020-2023  润新知