• hadoop的关键进程


    hadoop集群中主要进程有
    master:   NameNode, ResourceManager,
    slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild

    其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:
    RunJar:完成job的初始化,包括获取jobID,将jar包上传至hdfs等。
    MRAppMaster:每个job一个进程,主要跟踪job的运行情况,向RM申请资源等。
    YarnChild:运行具体的map/reduce task。

    job启动过程:
    ResourceManage,NodeManager->RunJar->MRAppMaster->YarnChild

    job退出过程:
    YarnChild->MRAppMaster->RunJar
    即所有的map/reduce均完成后,MRAppMaster才退出,最后RunJar退出,job完成。


    网上找到的一些示意图:
    图1



    图2



  • 相关阅读:
    LSTM
    Realsense D435i
    ubuntu18 realsenseD435i
    net
    test
    LSTM Accuracy
    boost x64 lib
    E0443类模板 "std::unordered_set" 的参数太多
    PropertySheet
    freetype 编译
  • 原文地址:https://www.cnblogs.com/eaglegeek/p/4557789.html
Copyright © 2020-2023  润新知