• 多个MapReduce作业相互依赖时,使用JobControl进行管理


        要处理复杂关系的数据,一个工程里面绝对不止一个MapReduce作业,当有多个MapReduce作业时,       并且每个作业之间有依赖关系,所谓的依赖就是一个作业得到的结果是另外一个作业的输入,这个时候我们可     以使用JobControl吊用其中的的addDepending()方法,管理每个MapReduce工作间的依赖关系,具体的     示例如下:

       

        step1:

    Java代码  收藏代码
    1. //设置各个Configuration  
    2. Configuration Aconf = new Configuration();  
    3. Configuration Bconf = new Configuration();  
    4. Configuration Cconf = new Configuration();  
    5. Configuration Dconf = new Configuration();  

        step2:

    Java代码  收藏代码
    1. //创建job对象,需要注意的是JobControl要求作业必须封装成job对象  
    2. Job Ajob = new Job(Aconf);  
    3. Job Bjob = new Job(Bconf);  
    4. Job Cjob = new Job(Cconf);  
    5. Job Djob = new Job(Dconf);  

        step3:

    Java代码  收藏代码
    1. //设置依赖关系,构造一个DAG作业  
    2. Bjob.addDepending(Ajob);  
    3. Cjob.addDepending(Ajob);  
    4. Djob.addDepending(Bjob);  
    5. Djob.addDepending(Cjob);  

        step4:

    Java代码  收藏代码
    1. //创建JobControl对象,由他对作业进行监控和调度  
    2. JobControl JC = new JobControl("Native Bayes");  

        step5:

    Java代码  收藏代码
    1. //把四个作业添加到JobControl中  
    2. JC.addJob(Ajob);  
    3. JC.addJob(Bjob);  
    4. JC.addJob(Cjob);  
    5. JC.addJob(Djob);  

        step6:

    Java代码  收藏代码
    1. //提交DAG作业  
    2. JC.run();  

         在实际运行过程中,不依赖于其他任何作业的Ajob优先得到调度,一旦运行完成,Bjob,Cjob两个作业同        时被调度,待他们全部运行完成后Djob被调用,参看上面的依赖的顺序!!!

  • 相关阅读:
    SSM整合初级 简单的增删改查
    初始SpringMVC
    初始Spring MVC
    Web Service简介
    Quartz框架 实现任务调度
    搭建james邮件服务器
    使用Jdbc Template的基本操作步骤
    spring AOP四种实现方式
    Struts2数据校验
    Struts2 与Servlet API解耦,耦合的访问方式
  • 原文地址:https://www.cnblogs.com/tonychai/p/4516506.html
Copyright © 2020-2023  润新知