HBase简介
Hbase(Hadoop Database),是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。
利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中海量数据,利用Zookeeper作为其分布式协同服务。
主要用来存储非结构化和半结构化数据(列式存储的nosql数据库)。
HBase数据模型
row key
1.决定一行数据。
2.按照字典序排序的。
3.Row Key最多可以存储64k的字节数据。
Time Stamp:时间戳
1.每个cell单元格有多个版本,根据唯一的时间戳来区分每个版本之间的差异,不同版本的数据数据按照时间倒叙来排序,最新的数据版本排在最前面。
2.时间戳类型是64位整型。
3.时间戳可以由HBase(在数写入时)自动赋值,此时时间戳是精确到毫秒的当前系统时间。
4.时间戳也可以由客户显式赋值,避免数据版本冲突,时间戳必须唯一。
Column Family:列族。CF1、CF2、CF3
1.HBase每个列都归属于某个列族,列族必须作为表模式(schema)定义的一部分预先给出。如create 'table1 ','course'
2.新的列族成员可以随时按需、动态的加入。
3.权限控制、存储以及调优都是在列族层面进行的。
4.HBase把同一列族的数据存储在同一目录下,由几个文件保存。
qualifier:列名。CF1:q2
1.列名以列族作为前缀,每个列族都可以有多个列成员。如:course:math,course:english
Cell:单元格
1.由行和列的坐标交叉决定。
2.单元格是有版本的。
3.单元格的内容是未解析的字节数组,cell中的数据是没有类型的,全部是字节码形式存贮。
HBase 架构
Client
1.包含访问HBase的接口并维护cache来加快对HBase的访问。
2.通过HBaseAdmin实现管理功能。
Zookeeper
1.做分布式锁,保证任何时候,集群中只有一个master。
2.存储所有Regin的寻址入口。
3.实时监控RegionServer的上线和下线信息。并实时通知Master。
4.存储HBase的schema和table元数据。
HMaster
1.为RegionServer分配Region。
2.负责RegionServer的负载均衡。
3.发现失效的RegionServer并重新分配其上的Region。
4.管理用户对table的增删改查操作。
RegionServer
1.RegionServer维护Region,处理这些Region的IO请求。
2.RegionServer负责切分在运行过程中变得过大的Region。
Region
1.HBase自动把表划分成多个区域(Region),每个Region保存一个表里面某段连续的数据。
2.每个表一开始只有一个Region,随着数据不断插入表,Region不断增大,当增大道一个阀值的时候,Region就会等分为两个新的Region(裂变)。
3.当table中的行不断增多,就会有越来越多的Region。这样一张完整的表被保存在多个RegionServer上。
store
1.一个Region由多个store组成,一个store对应一个Column Family(列族)。
2.store包括位于内存中的memstore和位于磁盘的storefile。
3.memstore:写操作先写入memstore,当memstore中的数据达到某个阀值时,会启动flashcache进程写入storefile,写入过程排序,每次写入都会形成单独的一个storefile。
4.storefile:当storefile文件的数量达到一定阀值后,系统会进行合并(minjor、major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的storefile。
5.当一个Region所有storefile的大小和数量超过一定阀值后,会把当前Region分割为两个,并由HMaster分配到相应的RegionServer服务器,实现负载均衡。
6.客户端检索数据,现在麽么store找,找不到再找blockcache(查询缓存),找不到再找storefile。
HBase读写流程
写过程
1.Client先从缓存中定位Region,如果没有缓存则访问zookeeper,从元数据表获取要写入的Region信息。
2.找到小于rowkey并且最接近于rowkey的startkey对应的Region。
3.将更新写入WAL中,避免丢失数据。
4.将写操作写入memstore中,当增加到一定阀值时,会将memstore写到磁盘上生成storefile。
5.随着storefile不断增多,当增长到一定阀值后,进行storefile的合并。
6.当一个Region所有storefile的大小和数量超过一定阀值后,会把当前Region分割为两个,并由HMaster分配到相应的RegionServer服务器
读流程
1.Client先从缓存定位Region,如果没有缓存则需访问zookeeper,查询-ROOT-表,获取-ROOT-表所在的RegionServer地址。
2.通过查询-ROOT-表的Region服务器,获取含有.-META-.表所在的RegionServer地址。
3.Client会将保存着RegionServer位置信息的元数据表.META.进行缓存,然后再表中确定待检索rowkey所在RegionServer信息。
4.Client会向在.META.表中确定RegionServer发送真正的数据读取请求。
5.先从memstore中找,如果没有,再到storefile上读。