• HBase replication 代码分析


    随着HBase的大规模应用,HBase的容灾显得特别的重要。

    本文主要从代码层面分析HBase replication (基于HBase0.94.3)

    分为正常replication处理逻辑和RS Fail两块。


    1.正常replication处理逻辑


    首先是HLog的rollwrite方法,调用prelogRoll, 在ZK上加上新的Hlog

    再调用postlogRoll,调用Replication的postLogRoll


    /**

    * Gateway to Replication. Used by {@link org.apache.hadoop.hbase.regionserver.HRegionServer}.

    */

    public class Replication implements WALActionsListener,

    ReplicationSourceService, ReplicationSinkService {



    Replication 实现了WALActionsListener接口,类似于提供给RS来调用的一些方法,类似于gateway.


    当有新hlog生成时,会调用相应的方法来处理,在此方法中,

    @Override

    public void postLogRoll(Path oldPath, Path newPath) throws IOException {

    getReplicationManager().postLogRoll(newPath);

    Replication会调用ReplicationSourceManager的postLogRoll->ReplicationSource的enqueueLog方法,将新的hlog加入到一个queue中,同时更新Metrics, ReplicationSource是一个线程,负责读取,解析,发送和记录Hlog

    ,同时会根据replication ration来随机选择几台slave 集群的region servers来,然后将数据push到对应的RS上,若超过无法联系slave的RS,就认为此RS已经挂掉了。

    在ReplicationSource的run中,通过ZK获得对应Peer的RS,按照比例随机选择几台Slave RS放入一个LIST中,poll queue,获得一个hlog,open reader,按照配置项读取一定数目的entries存在HLog.Entry[] entriesArray中,然后在调用 shipEdits方法,选择之前LIST的一台 RS,然后通过RPC获得一台RS,然后调用

    HregionServer的replicateLogEntries,

    HRegionInterface rrs = getRS();

    LOG.debug("Replicating " + currentNbEntries);

    rrs.replicateLogEntries(Arrays.copyOf(this.entriesArray, currentNbEntries));


    在RS的 replicateLogEntries方法中,会调用RS的Replication.replicateLogEntries

    this.replicationSinkHandler.replicateLogEntries(entries);

    最终会调到ReplicationSink的replicateLogEntries方法,此方法中,会将一个个Hlog.Entry解析出来,生成一个Map>,key为tablename, value为与此tablename相关的row, row生成的put或者deletec对象,然后根据各个table 调用ReplicationSink.batch,最终调用 Hbase的client.HTableInterface.batch 来将

    相应的row写入到对应的table。


    调用HregionServer的replicateLogEntries方法完成后,会设置hlog的position

    ------




    2.RS Fail

    NodeFailoverWorker


    OtherRegionServerWatcher.nodeDeleted -> ReplicationSourceManager.transferQueues-> NodeFailoverWorker.run

    在run中,在ZK上先lock Fail的RS,将Fail的RS对应的zk上的Hlog队列全部copy到自己下面,然后重新加入queue( ReplicationSource的enqueueLog方法 )

  • 相关阅读:
    d3操作svg路径动画,及dom移动
    新时代前端必备神器 Snapjs之弹动效果
    threejs 鼠标移动控制模型旋转
    玩转SVG线条动画
    CSS也能计算:calc
    CSS两种盒子模型:cntent-box和border-box
    解决Jquery中click里面包含click事件,出现重复执行的问题
    区块链踩坑之基础扫盲及搭建以太坊网络私有链(单节点)
    微信朋友圈转发第三方网站带缩略图实现
    物流一站式查询之快递100篇
  • 原文地址:https://www.cnblogs.com/bjanzhuo/p/3576112.html
Copyright © 2020-2023  润新知