• 新增访客数量MR统计之Reduce和Runner相关准备


    关注公众号:分享电脑学习
    回复"百度云盘" 可以免费获取所有学习文档的代码(不定期更新)
    云盘目录说明:
    tools目录是安装包
    res 目录是每一个课件对应的代码和资源等
    doc 目录是一些第三方的文档工具

    承接上一篇文档《新增访客数量MR统计之NewInstallUserMapper相关准备

    创建NewInstallUserReducer

    新增访客数量MR统计之Reduce和Runner相关准备

     

    编写NewInstallUserReducer

    新增访客数量MR统计之Reduce和Runner相关准备

     

    需要创建一个MapWritableValue对象

    新增访客数量MR统计之Reduce和Runner相关准备

     

    编写代码

    新增访客数量MR统计之Reduce和Runner相关准备

     

    需要创建一个BaseStatsValueWritable对象

    新增访客数量MR统计之Reduce和Runner相关准备

     

    完成代码

    新增访客数量MR统计之Reduce和Runner相关准备

     

    继续完成MapWritableValue

    添加属性

    新增访客数量MR统计之Reduce和Runner相关准备

     

    添加常用方法

    新增访客数量MR统计之Reduce和Runner相关准备

     

    实现父类方法

    新增访客数量MR统计之Reduce和Runner相关准备

     

    继续完成NewInstallUserReducer

    添加属性和reduce方法

    新增访客数量MR统计之Reduce和Runner相关准备

     

    创建一个集合,用于数据的去重,并统计数量

    循环变量value,将数据保存到集合中

    获取去重后uuid的数量

    构建输出对象

    新增访客数量MR统计之Reduce和Runner相关准备

     

    构建输出对象

    新增访客数量MR统计之Reduce和Runner相关准备

     

    创建NewInstallUsersRunner类

    新增访客数量MR统计之Reduce和Runner相关准备

     

    编写NewInstallUsersRunner

    新增访客数量MR统计之Reduce和Runner相关准备

     

    RunMethod方法

    新增访客数量MR统计之Reduce和Runner相关准备

     

    设置配置文件(附在文档后)

    新增访客数量MR统计之Reduce和Runner相关准备

     

    处理参数,一般处理时间参数

    新增访客数量MR统计之Reduce和Runner相关准备

     

    设置从hbase读取数据的相关代码

    新增访客数量MR统计之Reduce和Runner相关准备

     

    获取job的上下文

    获取给定的参数,是执行那天的数据

    构建scan应用的filter

    构建只获取需要字段的filter

    新增访客数量MR统计之Reduce和Runner相关准备

     

    需要完成getColumnFilter方法

    新增访客数量MR统计之Reduce和Runner相关准备

     

    继续编写setHBaseInputConfig

    构建filter过滤,非launch事件的数据

    应用过根据column对应的value值进行过滤, 如果hbase对应表中没有给定的列,那么数据不过滤,全部返回

    新增访客数量MR统计之Reduce和Runner相关准备

     

    由于我们需要获取天、周、月的数据进行统计,所以需要获取多张表的数据

    新增访客数量MR统计之Reduce和Runner相关准备

     

    创建HBaseAdmin进行表是否存在进行判断(注意高低版本)

    新增访客数量MR统计之Reduce和Runner相关准备

     

    构建scan的集合

    新增访客数量MR统计之Reduce和Runner相关准备

     

    低版本的方式

    新增访客数量MR统计之Reduce和Runner相关准备

     

    高版本的话改一下

    新增访客数量MR统计之Reduce和Runner相关准备

     

    过滤

    新增访客数量MR统计之Reduce和Runner相关准备

     

    完成run方法

    新增访客数量MR统计之Reduce和Runner相关准备

     

    新增访客数量MR统计之Reduce和Runner相关准备

     

    代码放到云盘里了下载就可以了

    新增访客数量MR统计之Reduce和Runner相关准备

     

  • 相关阅读:
    asp.net 上传文件 显示进度条
    .net 无刷新的几种模式的开发
    使用ASP.NET 2.0提供的WebResource管理资源
    sqlserver2005 递归查询
    利用触发器对某个表的操作过程(删除、修改、插入)
    Sqlserver 先分页再查询
    关于左右滚动,控制某几列不动
    几个不错的SQl语句
    怎样用.net读出Excel的多个Sheet
    将DELPHI数据库连接写进INI配置文件中
  • 原文地址:https://www.cnblogs.com/bqwzy/p/12872923.html
Copyright © 2020-2023  润新知