• 大数据之Yarn集群运行机制


    Yarn作为Hadoop集群中作为资源调度的角色可谓是意义重大。当然其实Yarn本身在搭建完成之后呢不太需要你去关注它什么,就像一个幕后工作者默默的工作不抛头露面。但是我们还是需要知道它的一些运行机制。我们就拿提交一个MapReduce来举例子。

      我们知道yarn集群分为两大角色,ResourceManager和NodeManager,其中呢ResourceManager包含Applications Manager 和 Schedule两个模块。而Node Manager呢包含Container和 APPmaster。所以当我们提交一个MapReduce运算任务时,我们的yarn是怎么运作的呢。

      我们可以把这个过程理解成一家大型公司的运转。

      首先客户像公司提交了一个项目工程需求,我要做一个这个东西,这是不是就相当于我们的Client向ResourceManager提交了一个计算任务。

      然后呢公司就开了一个会议拉上公司高层商讨这个需求的可行性,就相当于我们的ApplicationManager自检一番服务器磁盘内存等资源的状态,如果呢公司高层觉得我们公司可以没问题完全吃得下这个项目呢,那么就会创立一个项目组并指定一个项目经理,就相当于当我们的yarn集群自检合格之后呢,就会启动一个Container,然后启动一个APPmaster。

      这个APPmaster呢就相当于我们的项目组中的项目经理。然后我们的项目经理呢第一步做什么呢,是的首先在我们的项目办公室注册项目,并且向我们的人事资源部申请人力资源。这就相当于APPmaster向ResourceManager注册APPmaster,并向Schedule申请资源。

      然后呢我们的人事资源部呢就以项目组的形式呢回复资源列表,A项目组要多少个人,要多少台设备什么的。这一步就相当于Schedule以Container的形式回复我们的资源列表。

      这时候项目经理拿到人和设备了没啊?并没有,人事部只是批准了,那么具体还得怎么样?还得我们的项目经理自己去跑腿。这时候我们的APPmaster就跟其他的NodeManager通信聊啊,我要多少多少资源你得分配给我,是用来做什么的,上级批准了的。就好比我们的项目经理跟其他的外包商,服务商沟通的一个过程,我要做什么,你帮我做需要多少资源什么的。

      这时候我们的目标主机收到需求之后呢,就开始分配资源,然后开始干活。

      干完活怎么样?对想APPmaster汇报,诶我干完了。这就等于我们的外包商和服务商交付结果的这么一个过程。

      我们项目经理拿到了外包商服务商的交付结果,肯定接下来就是跟我们的公司高层汇报吧。告诉公司高层我们做完了。公司高层收到这个消息,那么接下来肯定就是把这个交付结果,给回到我们的客户,也就是Node Manager向APPmaster交付完之后,APPmaster向ResourceManager交付的这样一个过程,然后我们的ResourceManager把结果返回给我们的Client。

    这就是yarn集群收到运算请求的一个完整的运行过程,是不是跟一家公司的运行机制很像呢?

  • 相关阅读:
    分享在winform下实现左右布局多窗口界面续篇
    批处理加密与解密
    Winform应用程序实现通用遮罩层二
    Winform自定义窗体标题栏样式
    斯坦福 CS231n 全套解读 系列文章
    net use命令详解
    技术管理杂谈
    用命令行禁用网卡
    查看已连接的无线网密码(windows)
    Application.EnableVisualStyles()和Application.SetCompatibleTextRenderingDefault()的作用及用法
  • 原文地址:https://www.cnblogs.com/sky9408251/p/12050121.html
Copyright © 2020-2023  润新知