• HBase表的架构原理


    HBase总体架构图
    Distributed-NoSQL-HBase-Accumulo-21.png


    Hbase Table的基本单位是Region,一个Table相应多个Region。Table层级关系例如以下:
    Table       (HBase table)
        Region       (Regions for the table)
             Store          (Store per ColumnFamily for each Region for the table)
                  MemStore         (MemStore for each Store for each Region for the table)
                  StoreFile            (StoreFiles for each Store for each Region for the table)
                        Block             (Blocks within a StoreFile within a Store for each Region for the table)
    Region
    每台RegionServerserver中包括多个Region和一个Hlog(WAL),每一个Region中包括多个Store
    Store
    每一个Store(HStore)中包括一个MemStore和多个StoreFile(HFile)。每一个Store相应了某个Table中的一个column family的存储
    MemStore
    MemStore在内存中维护着对Store的改动日志。日志是KeyValue结构的。一旦MemStore被触发flush操作。当前的MemStore被标记为SnapShot。与此同一时候
    Hbase创建新的MemStore并继续处理改动操作。直到标记为SnapShot的MemStore被通知已经成功刷写到StoreFile,则销毁该MemStore
    StoreFile (HFile)
    表数据真正存储的地方,HFile是HDFS上详细的文件格式
    Blocks
    StoreFile由多个Block组成,BlockSize是依据每一个ColumnFamily级别配置的,在StoreFiles中,压缩也是基于Block级别


    查看HFile
    使用HFile工具查看StoreFile(HFile)(版本号:0.98.6+cdh5.2.1)
    hbase org.apache.hadoop.hbase.io.hfile.HFile -v -f /hbase/data/default/s_table1/1744a33060309b4aaecfca1639444411/fm1/97f63077d177429497551fbc22e4be75
  • 相关阅读:
    LeetCode: Trapping Rain Water
    LeetCode: Text Justification
    LeetCode: Unique Paths
    LeetCode: Unique Binary Search Trees
    向Google、Yahoo!和百度提交Sitemap网站地图
    Paypal IPN&PDT变量列表
    SQL查询和删除重复字段的内容
    [C#]基于.net技术的 Rss 订阅开发
    验证码识别流程
    c# string.Format 格式化日期
  • 原文地址:https://www.cnblogs.com/blfbuaa/p/6703310.html
Copyright © 2020-2023  润新知