• HBase底下的存储机制


    Split机制:可以理解为HDFS上Block一分二的情况。每个Table一开始只有一个region,随着数据不断插入表,region不断增大,当增大到一个阀值的时候,Hregion就会等分会两个新的Hregion。当table中的行不断增多,就会有越来越多的Hregion。

    非实时,定期触发。

    HRegion是Hbase中分布式存储和负载均衡的最小单元,相当于HDFS的Block。

    Flush机制:

    HStore存储是HBase存储的核心,其中由两部分组成,MemStore和StoreFiles。MemStore是Sorted Memory Buffer,用户写入的数据首先会写入MemStore,就返回了,所以写性能很高。当MemStore满了以后会Flush成一个StoreFile。非实时,定期触发。

     

    Compact机制:

    当StoreFile文件数量增长到一定阈值,会触发Compact合并操作,将多个StoreFiles合并成一个StoreFile,合并过程中会对Cell进行版本合并和数据删除。

    Put操作=insert + update,每个cell有6个版本。

     

    HLog:HLog的存在模仿Oracle的日志模式。


     做HBase优化时候应当从合并分割时间调整进行优化

  • 相关阅读:
    Java学习
    Java学习
    Java学习
    Java学习
    Java学习
    Java学习
    Java学习
    springboot之RabbitMQ
    IIS自动发布脚本
    存储器
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5389427.html
Copyright © 2020-2023  润新知