• 总结的MR中连接操作


    1 reduce side join
    在map端加上标记, 在reduce容器保存,然后作笛卡尔积
    缺点: 有可能oom

    2 map side join
     2.1 利用内存和分布式缓存,也有oom风险
     2.2 自己的想法,参考hive桶的思路,
      第一次MR,将两个文件相同的方法分文件输出并打上标记,排序输出,尽可能分的比较均匀
      第二次MR 改写输入方法,将相同标记的多个分片打包传给map, 改写读的方法,用数组或者列表保存文件流,利用多个文件多路归并思想,使整个大分片按照有序的方法传给map,
    MAP方法中,保存当前的连接key, 然后用容器分标示保存连接key,每次有新的连接key进来,判断是否与上一个连接key相同,如果不同,则输出 容器的笛卡尔积, 否则则添加进容器
      优点: 减少笛卡尔积,分片打包时,如果有个标示没有,整个分片都可以丢掉,减少判断
      缺点: 如果连接key过多, 还是有oom风险.

      改进思路,在文件读取时,根据文件读取相同标示的分片内容(首选文件小的),Map中保存, 读完再读取另外一个文件标示下的文件,如果连接key相同,则和容器中保存的值做连接输出,一直读到不同的key为止,继续连续读上一个标示的key
      优点: 减少了一个容器来做笛卡尔积,只用保存小的标示文件,然后和大文件做笛卡尔积
      缺点: 如果小文件单个key的数量很大, 还是会有oom风险

    3 半连接
      主要利用过滤,将要文件中要关联的字段抽取出来,保存成一个文件, 利用分布式缓存读入内存过滤,如果文件过大可以利用bloomfile, 可能牺牲了一点精确度,但是在reduce端还是会过滤
      风险: 还是有oop风险

  • 相关阅读:
    ul>li中自定义属性后取值的问题
    img标签src图片地址找不到显示默认图片
    jquery通配符说明
    jquery控制元素的显示与隐藏
    mysql中行转列与列传行的问题
    页面禁止滚动条
    HttpServletRequest继承字ServletRequest的常用方法
    系统间通信方式
    mysql函数积累
    java 用maven 构建项目时@Override错误的解决办法
  • 原文地址:https://www.cnblogs.com/chengxin1982/p/3983667.html
Copyright © 2020-2023  润新知