7.16
一、回顾
二、HDFS Federation（联盟）
Hadoop 2.2.0发布新特性
很多的大公司都在使用：BAT
HDFS Federation + HDFS HA架构
互相隔开，但是数据存储共用
1、新特性介绍
ViewFs Guide 视图文件系统
HDFS Snapshots 快照
在某一时刻某一个瞬间在整个文件系统中，它存储的文件具体的情况
比如：存储多少文件、它的副本数...一些信息
好处：备份、恢复
Edits Viewer
Image Viewer
用来查看fsimage和edits文件的工具
Quotas and HDFS
HDFS 配额
两种：空间、目录
C API libhdfs
可以用C语言编写MR程序，访问文件系统
2、HA和联盟的区别
HDFS HA：
两个namenode->管理同一个文件系统，内存中存储的内容是一样的。
HDFS Federation：
两个namenode各自管理属于自己一部分的数据，存储的内容完全不一样的。
namenode共同使用datanode的存储空间
namenode内存限制
注意：配置之前需要关闭原有的集群还有正在运行的服务
3、HDFS Federation配置
dfs.namenode.rpc-address：8020
datanode和namenode交互端口号
dfs.namenode.servicerpc-address：8022
减轻一个端口号的压力，可配置项
dfs.namenode.http-address：50070
浏览器访问端口
dfs.namenode.https-address：50470
浏览器访问端口
格式化所有的namenode，虽然是三个不同的namenode
但是是在一个集群中的，每个集群都有一个唯一的标识符clusterID
如果不提供ID，会自动生成一个，以免与其他集群产生冲突
三、MapReduce二次排序
MR ：
input map（） shuffle reduce（） output
MR shuffle：
partition sort combiner compress group
排序：默认是按照key排序
分组：相同key的value放在一起
比较：key相同
指定：比较器->实现接口
key和key的比较->shuffle
需求：文件中有这些数据，依据第一个字段进行排序
如果第一个字段相同，对第二个字段进行排序
a,1 a#1,1
z,3 z#3,3
b,2 b#2,2
a,100 a#100,100
a,3 a#3,3
b,1 b#1,1
a#1,1 a#1,list<1,3,100> a,1 a,3 a,100
a#3,3
a#100,100
b#1,1
b#2,2
z#3,3
默认比较两个字段，要保持原来的第一个字段进行分组
第一个字段相同，代表key相同
这种排序是在整个shuffle阶段进行操作，并不是reduce的方法中操作的
MR本身具有排序特性：将第一个作为key，第二个字段怎么办？
直接对value进行排序？
排序消耗的CPU内存资源
【小结】mapreduce二次排序要点
1，组合key，key是一个组合字段，自定义数据类型
继承writablComparable
2、保证原来的分区，需要自定义分区partitioner，
继承partitioner
3、保持原来的分组，需要自定义分组
继承RawComparator
四、MR join
HDFS两张表：两类文件->MR分析
map join(在数据比较小的情况下可以使用)
【举例】
淘宝天猫双十一购物
1、 账户信息包括：用户ID、名称、收货地址、电话联系方式
(customer)
cid cname address telphone
2、订单信息包括：订单ID、用户ID、商品价格、商品名称
(order)
oid cid price pname
将两个表进行关联
关联之后的信息包括：用户ID、名称、收货地址、电话联系方式、商品名称
cid name address telphone pname
每个商品订单都能找到购买人
两张表->公共连接点->key(map输出的key)
cid cname address telphone(小表)
oid cid price pname(大表)
功能：
cid name address telphone pname
map-><key,value>
<cid(key), customerinfo(value)> -> <cid, customerinfo>
reduce端join(也叫shuffle join或common join)
reduce input keyvalue:
<cid, list(cinfo, orderinfo, order info, orderinfo, orderinfo)>
map
customer:
<cid,cinfo>
cinfo:
(标识)tag:customer/order
data:cinfo/orderinfo
order:
<cid,orderinfo>
五、MapReduce分布式缓存
DistributeCache
六、
Apache hadoop:
hadoop 1.x
hadoop 2.x
cloudera hadoop: -> cloudera manager
CDH3 CDH4 CDH5
hortonworks hadoop: -> yahoo
HDP 2.x
hue