• Flink架构分析之HA


    抽象

    LeaderElectionService

    这个接口用于从一组竞选者中选出一个leader,其start方法需要传递一个LeaderContender竞选者作为参数,如果有多个竞选者,则每一个竞选者都需要拥有自己的竞选服务类。

    LeaderContender

    需要竞选leader的候选者们需要实现本接口,即flink中所有需要进行leader选举的组件均会实现本接口。

    LeaderRetrievalService

    这个接口用于当leader改变的时候收到通知,并回调注册的LeaderRetrievalListener。某些组件对其他组件的leader变更敏感(比如ResourceManager的leader变更则TaskExecutor就需要重新连接到该新的RM上),这些组件就可以创建LeaderRetrievalService服务,实现其敏感组件leader变更后的业务逻辑。

    LeaderRetrievalListener

    当leader改时获取到新的leader地址和id,进而实现自定义的业务功能。比如:TaskExecutorresourceManagerLeaderRetriever就启动了一个ResourceManagerLeaderListener当新的ResourceManager被选举为leader时进行重新连接到新的leader。

    实现

    采用curator库中的LeaderLatch实现leader选举。主要涉及LeaderLatchLeaderLatchListener这两个类.LeaderLatchListener接口的两个回调方法:

    • isLeader: LeaderLatch的失去leader时会被调用
    • notLeader: LeaderLatch的获得leader时会被调用

    但是这两个方法都是在LeaderLatch状态转变中被调用,都有可能在这两个方法调用前,leader又改变了回去了,这种情况下唯一可以保证的就是,你可以预期另一个对应的方法也会很快被调用。所以实现中LeaderLatchListener的方法被回调时必须再次调用LeaderLatch.hasLeadership()进行确认。

    想了解更多的同学可以参考curator相关文档LeaderLatch

    ZooKeeperLeaderElectionService

    ZooKeeperLeaderElectionService实现了LeaderLatchListener接口当其启动的LeaderContender被选举为leader时isLeader方法会被回调,然后调用LeaderContendergrantLeadership,实现类可以在该方法中实现自己的业务逻辑(比如job的recovery)完成后再调用LeaderElectionServiceconfirmLeaderSessionID把新的leader的地址和uuid写入到相应的zk node节点,然后注册监听了该zk node节点的相关LeaderRetrievalService就会收到leader变化的通知从而进行相应的业务处理。

    下图为用zookeeper实现leader选举的时序图。

    相关组件

    • Dispatcher 负责任务的提交,任务持久化,创建JobManagerRunner执行任务以及当master失败时进行任务恢复
    • ResourceManager 负责资源的分配和回收
    • WebMonitorEndpoint 负责服务前端RESTful调用
    • JobManagerRunner 负责job级别的leader选举
  • 相关阅读:
    关于JAVA中的static方法、并发问题以及JAVA运行时内存模型
    【设计模式】抽象工厂模式
    spring mvc4.1.6 + spring4.1.6 + hibernate4.3.11 + mysql5.5.25 开发环境搭建及相关说明
    struts2.3.24 + spring4.1.6 + hibernate4.3.11+ mysql5.5.25开发环境搭建及相关说明
    git中Please enter a commit message to explain why this merge is necessary.
    扒一扒开源世界有哪些licenses?
    string.Format出现异常:输入字符串的格式不正确 Exception during StringFormat
    node-glob学习
    js中对URL进行转码与解码
    程序员如何修炼管理思维
  • 原文地址:https://www.cnblogs.com/andyhe/p/10593797.html
Copyright © 2020-2023  润新知