hadoop jar x.jar 执行过程
Yarn框架执行内容
1,job.waitforcompletion() 启动 Runjar 进程 -> Resourcemanage申请一个job ->返回一个 job相关资源提交路径和jobID
2,Runjar 向指定路径提交相关资源,并将提交结果返回给ResourceManage。
3,ResourceManage将Job加入到任务队列。NodeManage通过心跳机制领取相关任务。
4,NodeManage会为任务产生一个容器Container,这个容器包含资源(cpu,内存,磁盘I/O,网络等);
5,启动mrappmaster。
MapReduce框架
1,mrAppmaster 注册到ResourceManage注册信息。返回相关资源所在那个节点。
2,在相关容器中启动Map任务进程被 称为YarnChild,mrAppmaster不断监控。
3,mrAppmaster启动ReduceTask
4,mrAppmaster将运行信息返回给ResourceManage,注销自己,ResourceManage回收资源。
mrAppmaster 和YarnChild 是动态产生的。