• MapReduce-WordCountDemo


    /**
     * @Author: dreamer Q
     * @Date: 2019/11/4 22:26
     * @Version 1.0
     * @Discription 使用MapReduce 开发 WordCount应用程序
     */
    public class WordCount2App{
    
    
        /**
         * Map: 读取输入的文件
         * Mapper里面四个泛型的含义
         * 输入的数据类型:
         *      LongWritable:表示偏移量,由于Long要在服务器之间传输,LongWritable是hadoop封装的可序列的类型
         *      Text:文本类型
         * 输出的数据类型:
         *      Text:文本类型
         *      LongWritable:表示统计的数量,同Long一样,要在服务器之间传输,IntWritable是hadoop封装的可序列化的类型
         */
        public static class WCMapper extends Mapper<LongWritable,Text,Text,LongWritable>{
    
    
            //mapreduce框架每读一行数据就调用一次该方法
            @Override
            protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
                //具体的业务逻辑就卸载这个方法中,而且我们业务要处理的数据已经被框架传递进来,在方法的参数中key-value
                //key 是这一行数据的起始偏移量,value 是这一行的文本内容
    
                //将这一行的内容换成String类型
                String line = value.toString();
    
                //对这一行的文本按特定分隔符切分
                String[] words = StringUtils.split(line, " ");
    
                //遍历这个单词数据输出为key-value的形式 k:单词 v :1
                for (String word : words) {
                    context.write(new Text(word), new LongWritable(1));
                }
    
            }
        }
    
        /**
         * Reduce:归并操作
         */
        public static class WCReducer extends Reducer<Text,LongWritable,Text,LongWritable>{
    
            //框架在map处理完成之后,将所有kv对缓存起来,进行分组,然后传递一个组<key,values{}> 调用一次reduce方法
            //<hello,{1,1,1,1,1,....}>
            @Override
            protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
                long count=0;
    
                for (LongWritable value : values) {
                    count +=value.get();
                }
    
                //输出这一个单词的统计结果
                context.write(key, new LongWritable(count));
            }
        }
    
        /**
         * 用来描述一个特定的作业
         * 比如:改作业使用那个类作为逻辑处理中的map,哪个作为reduce
         * 还可以指定该作业要处理的数据所在的路径
         * 还可以指定该作业输出的结果的结果放到哪个路径
         * @param args
         */
        public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
    
        //   Job job = new Job(); 已过时
            Configuration conf =new Configuration();
    
            Job job = Job.getInstance(conf);
    
            //设置整个job所有的那些类所用的jar包的位置-因为是分布式
            job.setJarByClass(WordCount2App.class);
    
    
            //本job使用的mapper和reducer的类
            job.setMapperClass(WCMapper.class);
            job.setReducerClass(WCReducer.class);
    
            //指定reduce 的输出 key 和 value 类型
            job.setOutputKeyClass(Text.class);
            job.setOutputValueClass(LongWritable.class);
    
            //指定mapper的输出数据 key 和 value 类型
    
            //指定要输入的数据存放的路径--输入的数据路径
            FileInputFormat.setInputPaths(job, new Path("/wc/srcdata"));
    
            //指定处理结果的输出数据存放路径--输出的数据路径
            FileOutputFormat.setOutputPath(job, new Path("/wc/output"));
    
            //将job提交给集群运行
            job.waitForCompletion(true);
    
        }
    
    }
  • 相关阅读:
    10.14 正睿做题笔记
    斯坦纳树
    django+uwsgi+nginx 前后端分离部署配置
    pandas 取 groupby 后每个分组的前 N 行
    使用 Java SDK 获取 MaxCompute 的表结构并写入到 Excel 中
    PPYOLO模型参数配置理解
    分子表面计算库MSMS的linux安装教程
    使用Python的seaborn画热力图heatmap以及将两个矩阵合并画热图的方法
    常见图片格式分析-bmp,png
    BUUOJ-Misc刷题笔记
  • 原文地址:https://www.cnblogs.com/july-sunny/p/11796734.html
Copyright © 2020-2023  润新知