• Yarn的执行流程


    resourceManager 简称 rm ApplicationManager 简称 am
    namenode简称nn

    -客户端向yarn提交job任务,rm分配资源 -rm开启一个任务容器,运行一个am


    -am启动一台nn,启动Application master,计算任务所需资源

    -Application master向am申请资源

    -Application master拿到资源之后分发至各个nn

    -各个nn拿到资源之后开始执行maptask

    -maptask结束之后,reduceTask开始运行,拉取数据

    -所有任务结束后,master反馈给am,注销job。

     详细过程:

      1. 客户端定义的Driver向resourceManager提交一个Job

      2. resourceManager同意之后,返回给客户端jobId、切片以及jar文件的位置

      3. 客户端将返回来的信息上传到HDFS

      4. Driver申请一个运行进程的任务容器, resourceManager同意之后, 生成容器任务, 放进资源队列

      5. Driver发送启动命令运行程序, MapReduceAppManager接收命令,加载配置信息, 并向ResourceManger申请容器运行 maptask

      6. maptask拿到资源之后, 根据MapReduceAppManager加载的任务信息下载jar包和切片信息以及配置文件

      7. maptask运行, 当maptask运行结束之后, 向ResourceManager申请新的容器运行ReduceTask

      8. ReduceTask开始执行,拉取数据

      9. 所有任务执行完毕 , MapReduceAppManager 向 ResouceManager 申请注销本次的Job , 程序退出.

  • 相关阅读:
    预警:亚马逊出售的监控摄像机存在预装恶意软件
    opendaylight+openvswitch环境部署
    keepalived+nginx实现高可用
    Huawei ipv6 bgp配置
    F5配置http跳转https
    F5配置ssl卸载
    IBGP路由重分布进IGP路由
    H3C NQA 配置
    Cisco N7K第三方光模块的使用
    Cisco C3850交换机重启后配置无法保存的故障处理
  • 原文地址:https://www.cnblogs.com/joey-413/p/13966066.html
Copyright © 2020-2023  润新知