HBase简介

1.HBase简介

•  HBase – Hadoop DataBase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库
•  利用hadoop hdfs作为其文件存储系统，利用hadoop mapreduce来处理HBASE中的海量数据，利用zookeeper作为其分布式协同服务
•  主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）

真正意义上的数据库，和hive不同，hive只是一个数据仓库

2.HBase 数据模型

2.1 结构

Row Key	Time Stamp	CF1	CF2	CF3
“com.cnn.www”	T6		CF2:q1=val3	CF3:q4=val4
	T5
	T3	CF1:q2=val2

Row Key 相同的是一行，默认大小64K

Time Stamp 时间戳来记录版本

CF1 CF2 CF3 列族

一个列族下可以有多个列

2.2 Column Family 列族 & qualifier 列

•   HBase 表中的每个列都归属于某个列族，列族必须作为表模式(schema)定义的一部分预先给出。如create ‘test’,’course’;创建表的时候必须要把列族创建出来，列可以先不创建
•   列名以列族作为前缀，每个列族都可以有多个列成员(column),如 course:math,course:english,新的列族成员(列)可以随后按需、动态加入；
•   权限控制、存储以及调优都是在列族层面进行的；
•   HBase把同一列族里面的数据存储在同一目录下，由几个文件保存

2.3 Timestamp时间戳

•   在HBase每个cell存储单元对同一份数据有多个版本，根据唯一的时间戳来区分每个版本之间的差异，不同版本的数据按照时间倒序排序，最新的数据版本排在最前面。
•   时间戳的类型是64位整型
•   时间戳可以由HBase（在数据写入时自动）赋值，此时时间戳是精确到毫秒的当前系统时间
•   时间戳也可以由客户显示赋值，如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳

2.4 Cell单元格

•   由行和列的坐标交叉决定
•  单元格是有版本的，只要单元格的内容一改动，就会新添加一个版本
•  单元格的内容是未解析的字节数组，以key – value的形式存储
  • 由{row key , column(=<family>+<qualifier>) , version} 唯一确定的单元格。Cell中的数据是没有类型的，全部是字节码形式存储。
  • Key 为 {row key , column(=<family>+<qualifier>) , version}
  • Value为内容

2.5 HLog(WAL log)

•   Hlog文件就是一个普通的Hadoop Sequence File,Sequence File 的 Key是HlogKey对象，HlogKey对象，HlogKey中记录了写入数据的归属信息，除了table和region名字外，同事还包括sequence number 和 timestamp，timestamp是”写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
•   Hlog SequenceFile 的 Value 是 HBase的Key Value对象，即对应HFile中的KeyValue.

2.6 HBase体系架构

 

zookeeper给HBASE提供高可用（HA），解决单点故障

主节点为HMaster，可存在多个，但是工作的只有一个

从节点为HRegionServer,从节点可以有多个

客户端client请求zookeeper，由zookeeper告诉客户端那个主节点可用。

图中有错，每个HRegionServer只有一个HLog,HLog属于HRegionServer

• HMaster:主节点（可做高可用）
  • 可存在多个，但是工作的只有一个
• HRegionServer：从节点
  • 从节点可以有多个
  •  HLog(每个HRegionServer只有一个)
  •  HRegion：（可以有多个）

　　HRegionServer有多个HRegion,HRegion是对表中的数据进行横向的切分得到的Region，按照行来切，行由RowKey决定

　　查询数据时，先到MemStore中查，如果没有再去StoreFile中查，根据元数据拿数据

• • •   Store：表示列族，每个store都代表一个列族，store中的数据在hdfs存储时都是放在一个目录下的
      •  MemStore：内存store，系统在往HBase写数据的时候，先写入到内存中。当内存中到达一定数量后，就写入到磁盘，也就是storeFile

• • • •  StoreFile（多个）：MemStore溢写到磁盘时生成的文件就是StoreFile,StoreFile就要存到hdfs中去，StoreFile中记录HFile的元数据（HFile的存放目录，文件名，大小等），每个StoreFile包含一个HFile

• • • • •  HFile：存到hdfs中的数据文件
      • 每次溢写都会产生一个StoreFile,每个StoreFile包含一个HFile,HFile特别小，所以会产生很多小文件，所以HBase提供一个机制，专门处理这些小文件，把小文件合并成大文件
•   Client
  •   包含访问HBase的接口并维护cache来加快对HBase的访问
•   Zookeeper
  •   保证任何时候，集群中只有一个master
  •   存储所有Region的寻址入口
  •   实时监控Region server的上线和下线信息。并实时通知Master，Master将下线的RegionServer中存储的数据转移到active的RegionServer中
  •   存储HBase的schema和table元数据

•   Master
  •   为Region server分配region
  •   负责Region server的负载均衡，把新增的region分配到空闲或者任务较少的regionserver中去
  •   发现失效的Region server 并重新分配其上的region
  •   管理用户对table的增删改操作
•   RegionServer
  •   Region server维护region，处理对这些region的IO 请求
  •   Region server负责切分在运行过程中变得过大的region

•   Region
  •   HBase自动把表水平划分成多个区域（region），每个region会保存一个表里面某段连续的数据，每个表一开始只有一个region，随着数据不断插入表，region不断增大，当增大到一个阈值的时候，region就会等分为两个新的region（裂变）
  •   当 table中的行不断增多，就会有越来越多的region，这样一张完整的表被保存在多个regionserver上。

　　HBase中，数据是按照rowkey来排序的，每个region中都会存几条连续的行数据

•   Memstore 与 storefile
  •   一个region由多个store组成，一个store对应一个CF（列族）
  •   Store包括位于内存中的memstore 和 位于磁盘的storefile， 写操作先写入memstore,当memstore中的数据达到某个阈值，hregionserver会启动flashcache进程写入storefile（溢写到磁盘），每次写入形成单独的一个storefile
  •   当storefile文件的数量增长到一定阈值后，系统会进行合并（minor、major compaction），在合并过程中会进行版本合并(老版本可能会删掉)和删除的工作（只有major会进行删除工作），形成更大的storefile,合并非常耗内存，合并的时候甚至会导致访问不到数据，优化：每张表不超过三个列族
  •   当一个region所有storefile的大小超过一定阈值后，会把当前的region分割为两个(裂变)，并由hmaster分配到相应的regionserver服务器，实现负载均衡
  •   客户端检索数据，现在memstore找，找不到再找storefile

优化：每张表最好不超过三个列族，列族少了，store也就少了，store少了，storefile也就少了，合并也就少了，没有那么耗内存了

•   HRegion是HBase中分布式存储和负载均衡的最小单元。最小单元就表示不同的HRegion可以分布在不同的HRegion server上
•   HRegion由一个或者多个store组成，每个store保存一个columns family
•   每个store又由一个memStore和0至多个StoreFile组成。StoreFile以HFile格式保存在HDFS上。