• Hbase的rowkey设计


    HBase的rowKey设计技巧

    1、设计宗旨与目标

    主要目的就是针对特定的业务模型,按照rowKey进行预分区设计,使之后面加入的数据能够尽可能的分散于不同的rowKey中。比如复合RowKey。

    作用: 一条数据的唯一标识就是rowkey,那么这条数据存储于哪个分区,取决于rowkey处于哪个一个预分区的区间内,设计rowkey的主要目的 ,就是让数据均匀的分布于所有的region中,在一定程度上防止数据倾.

    2、设计方式案例

    2.1、案例一:生成随机数、hash、散列值

    比如:

    原本rowKey为1001的,MD5后变成:b8c37e33defde51cf91e1e03e51657da

    原本rowKey为3001的,MD5后变成:908c9a564a86426585b29f5335b619bc

    原本rowKey为5001的,MD5后变成:03b264c595403666634ac75d828439bc

    在做此操作之前,一般我们会选择从数据集中抽取样本,来决定什么样的rowKey来Hash后作为每个分区的临界值。

    2.2、案例二:字符串反转

    比如:

    20170524000001转成10000042507102

    20170524000002转成20000042507102

    这样也可以在一定程度上散列逐步put进来的数据。

    2.3、案例三:字符串拼接

    比如:

    20170524000001_a12e

    20170524000001_93i7

  • 相关阅读:
    embed 与 object
    通道
    Silverlight 插件中的FindName方法使用
    RenderTransformOrigin 的作用
    Photoshop工具与绘图
    Silverlight动画
    VS2005 数据连接提示:该项不适于在指定状态下使用
    IIS6注册.net4.0
    .NET中的动态编译
    DevExpress换肤
  • 原文地址:https://www.cnblogs.com/alexzhang92/p/10941152.html
Copyright © 2020-2023  润新知