• hadoop之 yarn (简单了解)


    Yarn通过两个 守护线程提供核心服务:ResourceManager,管理集群所有资源的切分以及作业的调度与监控;NodeManager,运行在集群所有节点上,启动并监控容器的运行状况,并负责向ResourceManager汇报。

    在linux上,hadoop是通过cgroup技术实现container资源隔离的。

    下面有两张图,都是一个作业在yarn中运行流程,不过 我觉得第二张图更加清晰易懂,第一张图来自于hadoop权威指南。

    根据这两张图来说明下一个作业在yarn中运行流转过程。

    在yarn上运行一个application:

    1. client首先会连接RM,请求运行一个AM(ApplicationMaster负责单个应用程序的管理,监控task的执行) .

    2. RM会寻找一个可以运行 AM的 容器的节点,并启动AM。

    3. AM通过heartbeat向RM 申请资源。严格的讲,一个application只会运行一次AM。它可以在container简单的运行一个计算,也可以向RM申请更多的资源,运行分布式的计算。

    4. 当AM申请到更多的资源时,便会与对应的NM通信,要求其启动任务。

    5. 各个任务通过RPC协议向AM汇报自己的状态和进度。当程序运行完毕后,AM向RM注销并关闭自己。

    用放荡不羁的心态过随遇而安的生活
  • 相关阅读:
    slf4j中的MDC
    redis incr incrby decr decrby命令
    Java接口响应超时监控
    JDK1.7.0_45源码阅读<java.lang.Boolean>
    Debug JDK变量显形
    Java全角、半角字符的关系以及转换
    模型选择
    经验风险最小化
    支持向量机(下)
    支持向量机(上)
  • 原文地址:https://www.cnblogs.com/re-myself/p/5532550.html
Copyright © 2020-2023  润新知