- Hbase是什么
HBase是Apache Hadoop中的一个子项目。
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
Hbase依托于Hadoop的HDFS作为最基本存储基础单元,Hbase内部管理的文件全部存储在HDFS中。
- Hbase中的基本概念
Table:一个表可以有数十亿行,上百万列,每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列。
RowKey:行键,是表中每条记录的“主键”,方便快速查找,Rowkey的设计非常重要。
Column Family:列簇,Table在水平方向有一个或者多个Column Family组成,一个Column Family中可以由任意多个Column组成。
Column:列,属于某一个Column Family,familyName:columnName,每条记录可动态添加。
Version Number:类型为Long,默认值是系统时间戳,可由用户自定义。
Value(Cell):值,所有Value均以二进制格式存储,用户需要自行进行类型转换。
- Hbase中数据的存储
在HBase中创建的一张表可以分布在多个Hregion,也就说一张表可以被拆分成多块,每一块称我们呼为一个Hregion。每个表开始只有一个Hregion,随着数据增多,Hregion不断增大,当增大到一个阀值的时候,Hregion就会等分会两个新的Hregion,之后会有越来越多的Hregion。每个Hregion会保 存一个表里面某段连续的数据,用户创建的那个大表中的每个Hregion块是由Hregion服务器提供维护,访问Hregion块是要通过 Hregion服务器,而一个Hregion块对应一个Hregion服务器,一张完整的表可以保存在多个Hregion 上。HRegion Server 与Region的对应关系是一对多的关系。每一个HRegion在物理上会被分为三个部分:Hmemcache(缓存)、Hlog(日志)、HStore(持久层)。
HRegionServer、HRegion、Hmemcache、Hlog、HStore之间的关系,如图所示:
HBase表中的数据与HRegionServer的分布关系,如图所示:
HBase读数据:HBase读取数据优先读取HMemcache中的内容,如果未取到再去读取Hstore中的数据,提高数据读取的性能。
HBase写数据:HBase写入数据会写到HMemcache和Hlog中,HMemcache建立缓存,Hlog同步Hmemcache和Hstore的事务日志,发起Flush Cache时,数据持久化到Hstore中,并清空HMemecache。
- Hbase架构及基本组件
Master
- 为Region server分配region
- 负责Region server的负载均衡
- 发现失效的Region server并重新分配其上的region
- 管理用户对table的增删改查操作
HRegionServer
-
HRegionServer主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBase中最核心的模块。
- HRegionServer内部管理了一系列HRegion对象,每个HRegion对应了Table中的一个Region,HRegion中由多个HStore组成。每个HStore对应了Table中的一个Column Family的存储,可以看出每个Column Family其实就是一个集中的存储单元,因此最好将具备共同IO特性的column放在一个Column Family中,这样最高效。
Zookeeper
- 通过选举,保证任何时候,集群中只有一个Master,Master与HRegionServer 启动时会向ZooKeeper注册
- 存贮所有Region的寻址入口
- 实时监控HRegionServer的上线和下线信息。并实时通知给Master
- 存储HBase的schema和table元数据
- 默认情况下,HBase 管理ZooKeeper 实例,比如, 启动或者停止ZooKeeper
- Zookeeper的引入使得Master不再是单点故障
- Hbase容错性
Master容错:Zookeeper重新选择一个新的Master。
HRegionServer容错:定时向Zookeeper汇报心跳,如果一旦时间内未出现心跳,Master将该HRegionServer上的HRegion重新分配到其他HRegionServer上,失效服务器上“预写”日志由主服务器进行分割并派送给新的HRegionServer。
Zookeeper容错:Zookeeper是一个可靠地服务,一般配置3或5个Zookeeper实例。
参考:
http://blog.csdn.net/frankiewang008/article/details/41965543
http://blog.csdn.net/woshiwanxin102213/article/details/17584043