Hbase详细架构图解

目录

• 主要组件
• 数据模型

注意：Hbase是依赖zookeeper和hdfs的，需要启动zk和hdfs。

主要组件

Zookeeper：
HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。

HDFS：
HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。

Master：（是所有 Region Server 的管理者，其实现类为 HMaster）

• 对RegionServer的操作：

1. 监控RegionServer

2. 处理RegionServer故障转移

3. 处理元数据的变更

4. 处理region的分配或转移

5. 在空闲时间进行数据的负载均衡

6. 通过Zookeeper发布自己的位置给客户

• 对于表的操作（DDL）
  create, delete, alter

RegionServer：（为 Region 的管理者，其实现类为 HRegionServer）

1．负责存储HBase的实际数据
2．处理分配给它的Region
3．刷新缓存到HDFS
4．维护Hlog
5．执行压缩
6．负责处理Region分片

对于数据的操作：（DML）
get, put, delete；

Region：
Hbase表的分片，HBase表会根据RowKey值被切分成不同的region存储在RegionServer中，在一个RegionServer中可以有多个不同的region。

Hlog：
又称Write-Ahead logs（WAL）预写入日志。
HBase的修改记录，当对HBase读写数据的时候，数据不是直接写进磁盘，它会在内存中保留一段时间（时间以及数据量阈值可以设定）。由于数据要经 MemStore 排序后才能刷写到 StoreFile，但把数据保存在内存中可能有更高的概率引起数据丢失，为了解决这个问题，数据会先写在一个叫做Write-Ahead logfile的文件中，然后再写入内存中。所以在系统出现故障的时候，数据可以通过这个日志文件重建。

Store：
StoreFile存储在Store中，一个Store对应HBase表中的一个列族(列簇， Column Family)。

MemStore：
写缓存，由于 StoreFile中的数据要求是有序的，所以数据是先存储在 MemStore 中，排好序后，等到达刷写时机才会刷写到 StoreFile，每次刷写都会形成一个新的 StoreFile。

StoreFile：
这是在磁盘上保存原始数据的实际的物理文件，是实际的存储文件。StoreFile是以Hfile的形式存储在HDFS的。每个 Store 会有
一个或多个 StoreFile，数据在每个 StoreFile 中都是有序的（按照Rowkey的字典顺序排序）。

Hfile：
可以理解成一种文件格式（其他的文件格式TXT，orc，parquet...），StoreFile是以hfile格式存储的。

数据模型

逻辑结构图

物理存储结构

1. Name Space
   命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。
2. Row
   HBase 表中的每行数据都由一个 RowKey 和多个 Column（列）组成，数据是按照 RowKey的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重要。
3. Column
   HBase 表中的每行数据都由一个 RowKey 和多个 Column（列）组成，数据是按照 RowKey的字典顺序存储的，并且查询数据时只能根据 RowKey 进行检索，所以 RowKey 的设计十分重要。
4. Time Stamp
   用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。
5. Cell
   由{rowkey, column Family：column Qualifier, time Stamp} 唯一确定的单元。cell 中的数据是没有类型的，全部是字节码形式存贮（byte[]数组）。