HBase权威指南

简介和安装

• HBase来源
• 列式数据库的优势
• HBase的意义
• HBase的安装、配置文件

客户端API：基础知识

• 基础操作Put Get Delete Scan
• Scan与Get的区别，一批记录和一条记录
• Result类和ResultScanner类
• 行锁
• 较少RPC 远程程序调用，减少网络开销

客户端API：高级特性

• 过滤器，Filter类
• get和scan可以查询数据，但是不能执行细粒度的筛选功能
• 过滤器在服务端生效，过滤的数据不会传输 给客户端，减少宽带消耗
• 过滤器在客户端创建，通过RPC传送到服务端
• CompareFilter比较过滤器、FileterBase专用过滤器

客户端API：管理功能

• Table类，对一个表操作
• Admin类，对所有表操作
• Region,RegionServer的关系

可用客户端

• 通过REST、Thrift、Avro访问HBase
• Hive支持HBase，可访问HBase数据库的数据
• 要掌握HBase Shell 编程命令
• alterdescribedisabledropenableexistsList
• 数据操作：countdeletegetputscan runcate

与MapReduce集成

• HBase的InputFormat，TableInputFromat将表拆分成大小合适的块交给Mapreduce处理
• HBase提供了一个TableMapper类
• HBase提供了一个TableReducer类
• 输出到HBase表时，可以使用TableOutputFormat类
• 第一个例子，将HBase作为数据流向

架构

• B树，B+树被关系型存储引擎广泛采用，LSM树大致为BigTable底层存储架构
• HFile格式
• HBase提供了-ROOT-和.META.，-ROOT-表用来查询.META.表中region的位置
• 类似B+树三层查找结构，第一层root region找-ROOT-，第二层-ROOT-找.META.，第三层.META.找region

高级用法

• 设计好的表结构，列名
• 一个列族一个存储文件，HBase不存储NULL值
• 含有结构信息的整个单元格为keyvalue
• 高表、宽表

集群监控

• 集群信息可视化
• 有一些软件通过监控API对MASTER,REGION,RPC进行监控

性能优化

• 本地memstore分配缓冲区
• 一旦memsotre满了，flush进入磁盘，store文件
• 当region达到阈值，拆分成两个