• Hadoop部署项目总结&&解析缓存文件


    打包hadoop项目需要用fatjar插件进行打包,可以将第三方依赖一起编译进去,否则会找不到mapper类,或者找不到主类main方法。

    解析缓存文件代码:

    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
    super.setup(context);
    // 解析缓存中的数据
    if (context.getCacheFiles() != null && context.getCacheFiles().length > 0) {
    //调用context中getlocalCatheFiles 的第0个缓存文件的名字
    String path = context.getLocalCacheFiles()[0].getName();

    if (StringUtils.isNotBlank(path)) {

    System.out.println("path是" + path);
    //将文件名字new进文件对象
    File itermOccurrenceMatrix = new File(path);
    //调用filereader构造文件
    FileReader fileReader = new FileReader(itermOccurrenceMatrix);
    //创建输入流buffer将filereader放进去
    BufferedReader bufferedReader = new BufferedReader(fileReader);
    String s;
    //调用while循环读取文件中的数据,是一行一行读
    while ((s = bufferedReader.readLine()) != null) {
    //添加到stringbuffer中等待解析
    sb.append(s);
    }
    bufferedReader.close();
    fileReader.close();
    }
    }
    }

  • 相关阅读:
    大道至简第一张读后感
    字符串加密
    写一个类,在任何时候都可以向它查询创建了多少个类
    类与对象动手动脑
    2016年读书清单
    2016-09-01
    Spring笔记(五)--注解方式实现AOP
    Spring笔记(三)--代理模式
    Spring笔记(四)--公共属性的配置
    表达式之谜
  • 原文地址:https://www.cnblogs.com/CHWLearningNotes/p/9133992.html
Copyright © 2020-2023  润新知