• hadoop多文件输出


    原文链接:http://www.cnblogs.com/zhoujingyu/p/5316070.html

      现实环境中,常常遇到一个问题就是想使用多个Reduce,但是迫于setup和cleanup在每一个Reduce中会调用一次,只能设置一个Reduce,无法是实现负载均衡。

       问题,如果要在reduce中输出两种文件,一种是标志,另一种是正常业务数据,实现方案有三种:

      (1)设置一个reduce,在reduce中将数据封装到一个集合中,在cleanup中将数据写入到hdfs中,但是如果数据量巨大,一个reduce无法充分利用资源,实现负载均衡,但是如果数据量较小,可以使用

      (2)设置多文件输出,使用MultipleOutputs类 具体见代码:

    private MultipleOutputs mos;   
      
    @Override   
    protected void setup(Context context)   
    throws IOException, InterruptedException {   
      mos=new MultipleOutputs(context);  
    }   
    @Override   
    protected void reduce(Text key, Iterable<Text> values, Context context)   
    throws IOException, InterruptedException {   
      
    String key1=key.toString();   
    for(Text t:values){   
       if(key1.equals("a")){   
       mos.write("a", key,t);   
       } else if(key1.equals("b")){   
       mos.write("b", key,t);      
       } else if(key1.equals("c")){   
       mos.write("c", key,t);   
         
       }   
     }   
    }   
    @Override   
    protected void cleanup(   
    Context context)   
    throws IOException, InterruptedException {   
    mos.close();  
    }   

      main方法中配置

    MultipleOutputs.addNamedOutput(job, "a", TextOutputFormat.class, Text.class, Text.class);  
    MultipleOutputs.addNamedOutput(job, "b", TextOutputFormat.class, Text.class, Text.class);  
    MultipleOutputs.addNamedOutput(job, "c", TextOutputFormat.class, Text.class, Text.class); 

      结果文件为  a-r-0000,b-r-0000,c-r-0000,part-r-0000  

    (3)第三种方案是自己实现多文件输出 详见http://blog.csdn.net/qingmu0803/article/details/39665407

  • 相关阅读:
    Tomcat控制台日志乱码
    springboot中使用poi读取Excel数据,导出数据
    Linux系统下ctrl+z挂起进程后怎么恢复
    JSONObject与String、实体类互相转换
    用xshell连接VMware中的Linux的方法步骤(2种)
    vm虚拟机的安装以及linux系统centos的装载
    mysql的安装
    IDEA中使用debug进行调试的简单介绍
    Springboot整合Mybatis
    java读取txt文件封装成对象批量插入数据库的实例
  • 原文地址:https://www.cnblogs.com/lnlvinso/p/6886291.html
Copyright © 2020-2023  润新知