• HBase rebalance 负载均衡源码角度解读使用姿势


    关键词:hbase rebalance 负载均衡

    参考源码版本:apache-hbase-1.1.2

    什么是HBase Rebalance ?

    随着数据写入越来越多以及不均衡,即使一开始每个RegionServer的region数差不多,后期也会出现较为明显的差异现象。如果不做均衡,region过多的RS就有可能成为热点服务器,成为瓶颈。因此rebalance相当于一个负载调整的过程,把负载重的RS的部分region分发出去给别的RS去分担region压力。

    Rebalance 策略

    Rebalance由HMaster触发,因此主要代码在 org.apache.hadoop.hbase.master.balancer 下。配置 hbase.master.loadbalancer.class。

    主要有三种策略:

    • StochasticLoadBalancer . 默认策略,是一种综合的计算方法,考虑了六个因素(具体逻辑可看代码或参考 http://openinx.github.io/2016/06/21/hbase-balance):
      • 每台RegionServer读请求数(ReadRequestCostFunction)
      • 每台RegionServer写请求数(WriteRequestCostFunction)
      • 每台RegionServer的Region个数(RegionCountSkewCostFunction)
      • 移动代价(MoveCostFunction)
      • 数据locality(TableSkewCostFunction)
      • 每张表占据RegionServer中region个数上限(LocalityCostFunction)
    • SimpleLoadBalancer.
    • FavoredNodeLoadBalancer.

    Rebalance 触发

    HMaster会有个BalancerChore定时类去检查触发,间隔时间:hbase.balancer.period (dft 300000=5min) 。当然HBaseAdmin或shell也提供了命令接口可以手动触发。

    Rebalance 方式

    有两种方式,默认是把当前RS的region混在一起去rebalance,若hbase.master.loadbalance.bytable=true,则会按照一个表一个表来rebalance,这样至少可以确保某些表中途是rebalance完的。有人会称后者为表级rebalance,但实际上这并不是纯粹的表级rebalance,如果你真的只想触发某个表的rebalance,可能得考虑自定义策略去过滤其他表的region并且将上述bytable配置配置为true。(然而从平台角度来说,这并不是一种鼓励的做法,毕竟一般情况下所有表都需要负载均衡服务)

  • 相关阅读:
    CDN是如何工作的?
    JQuery UI的拖拽功能
    .net/C#开源操作系统学习系列
    [开源]KJFramework.Message 智能二进制消息框架 新能力
    [ASP.NET MVC]通过对HtmlHelper扩展简化“列表控件”的绑定
    Sencha Touch 2 官方文档翻译之 Managing Dependencies with MVC(管理MVC依赖项)
    Node.JS环境搭建手顺(无脑操作)
    找到拥有相同标签的用户对
    《算法导论》
    Controller的激活
  • 原文地址:https://www.cnblogs.com/lhfcws/p/7825932.html
Copyright © 2020-2023  润新知