• hadoop的关键进程 分类: A1_HADOOP 2015-06-06 11:37 52人阅读 评论(0) 收藏


    hadoop集群中主要进程有
    master:   NameNode, ResourceManager,
    slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild

    其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:
    RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。
    MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。
    YarnChild:运行具体的map/reduce task。

    job启动过程:
    ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild

    job退出过程:
    YarnChild->MRAppMaster->RunJar
    即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。


    网上找到的一些示意图:
    图1



    图2



    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    noexcept(c++11)
    右值引用和std::move函数(c++11)
    mint-ui 取值
    apicloud 注意事项
    倒计时
    获取第n天日期
    防止split没有切割的变量报错
    return
    时间戳转为日期
    echarts 中 请求后台改变数据
  • 原文地址:https://www.cnblogs.com/lujinhong2/p/4637188.html
Copyright © 2020-2023  润新知