HBase学习总结

HBase学习总结

• 是一个基于HDFS支持结构化数据存取的分布式存储系统。实现了HDFS上的随机读写功能。通过标记删除、多版本管理、HFile合并等手段实现高性能。可以直接连接在线业务系统。
• 架构：
  • ZK 管理 HMaster
  • HMaster管理HRegionServer：监控HReginServer整个生命周期，负责表数据负载均衡和Regin切分
  • HRegionServer管理HRegion(表)和HLog
    • 一张表对应一到多个HRegion,一个HRegion 管理多个Store
    • 每个Store对应一个列簇,一个列簇对应一个或多个Store
    • Store包含MemStore和StoreFile(以HFile格式存储)
• 数据结构
  • Column Family:可以包含多列，没有类型，存储都为字节码
  • 版本：可以指定数据库中保留最近的几份数据
  • 时间戳：插入时可以指定时间戳，不指定就是当前时间戳。删除是对当前时间戳打标记。
  • RowKey的设计问题，是面试时常问的。最大64KB。实际应用中10_{100bytes，最常用70}100bytes
    • GET/正则/范围SCAN
  • Cell：由ROWKEY和CF、VERSION 唯一确定的一个存储单元。无类型、字节码存储
  • Namespace:相当于数据库的database或者schema
• 技术原理
  • 读比写慢，读流程和HMaster没关系
    • 访问ZK-->获取META表所在RS-->访问RS读取META表-->根据META找到数据所在的RS-->访问数据RS-->访问MEMSTORE-->访问HFILE-->返回MEMSOTE-->返回客户端
  • 写比读快，如果不涉及Region切分也和HMaster没关系
    • 访问ZK-->获取META表所在RS-->访问RS读取META表-->根据META找到数据所在的RS-->写入数据RS->写HLOG再写MEMSTORE-->客户端返回
  • Hive和Hbase的区别
    • Hive是一个分析框架，本身任何数据都不存储
    • HBase是一个存储框架，可以直接对接业务系统（展示详情？）
• HBase和MR/Hive集成
  • 生产环境用CDH版本，解决版本和集成问题
• HBase优化
  • HMaster 做高可用：监控HReginServer整个生命周期，负责负载均衡。
  • 预先分区：HBase默认的分区算法，分区阀值：Math.min(R^2*128M,10G)，该算法会导致数据倾斜。生产实践一般由自己的分区规则。一台服务器放同一张表的2～3Regin
  • 分区键设计优化：
    • 长度原则/唯一原则/散列原则
    • 随机分区键|时间戳|业务1|业务2，连接符号用竖杠，asc码比较大
    • 方便存取，能根据业务计算出前面的随机键
    • 既要散裂，又要集中，解决按照范围取的问题
  • 内存优化：机器内给70%给堆内存，一般在16G～48G中间，ReginServer需要使用内存缓存数据