• Dubbo源码学习总结系列三 dubbo-cluster集群模块


            Dubbo集群模块的目的是将集群Invokers构造一个透明的Invoker对象,其中包含了容错机制、负载均衡、目录服务(服务地址集合)、路由机制等,为RPC层提供高可用、高并发、自动发现、可治理的SOA特性。

            本文我们主要讨论以下八个问题:

            一、集群模块的需求功能点有哪些?

            二、集群模块的总体设计框架是什么样的?

            三、Dubbo提供了哪些容错机制?如何实现的?

            四、Dubbo提供了哪些负载均衡机制?如何实现的?

            五、Dubbo目录服务是干什么的?提供了哪几种类型的目录服务?

            六、Dubbo提供了哪些路由机制?如何实现的?

            七、总结集群模块如何带来高可用、自动发现、可治理的特性?

            一、集群模块的需求功能点有哪些?

            基于文章开头讨论的目标内容,我认为集群模块的需求功能点主要有以下几点:

            1、将集群Invokers构造一个透明的Invoker对象提供给Rpc模块调用;

            2、提供容错机制,包括Failover(失败自动切换,尝试其他服务器)、Failfast(失败立即返回并抛出异常)、Failsafe(失败忽略异常)、Failback(失败自动恢复,记录日志并定时重试)、Forking(并行调用多个服务,一个成功立即返回)、Broadcast(广播调用所有提供者,任意一个报错则报错);

            3、提供负载均衡机制,包括Random(带权重的随机访问)、RoundRobin(带权重的轮训访问)、LeastActive(选择最少活跃者)、ConsistentHash(一致性哈希,相同参数的请求总是发到同一提供者);

            4、提供目录服务,包括静态目录服务(将调用地址存到本地)、注册中心注册目录服务两种方式;

            5、提供路由机制,包括条件路由(在URL配置条件表达式)和脚本路由(使用脚本语言编写脚本,返回路由结果);

            二、集群模块的总体设计框架是什么样的?

            调用关系如下图所示:

            

            接口声明如下图所示:

            

            Cluster接口:声明join()方法,从Directory实例中的Invoker列表中返回一个Invoker;

            Directory接口:list()方法,可查询Invoker列表;

            LoadBalance接口:select()方法,可从一个Invoker集合中结合负载均衡策略选择一个Invoker返回;

            Router接口:route()方法,从给定的Invoker集合路由选择一个Invoker返回;

            Merger接口:merge(T)方法,将多个调用返回的结果合并起来返回;

            Configurator接口:configure(URL)方法,配置加工URL参数并返回;

            

             三、Dubbo提供了哪些集群容错机制?如何实现的?

            由于篇幅过程,我将其内容单独写了一篇博客,详见 《集群容错机制》

            

            四、Dubbo提供了哪些负载均衡机制?如何实现的?

            由于篇幅过长,我又将内容拆分到另一片博客,见《集群负载均衡》

            五、Dubbo目录服务是干什么的?提供了哪几种类型的目录服务?

            dubbo目录服务提供了获取提供者服务地址列表的功能,目录服务的调用者是com.alibaba.dubbo.rpc.cluster.Cluster的join()方法。目前dubbo提供了静态目录服务和注册中心目录服务。静态目录服务实现了一个静态的地址列表本地内存缓存。注册中心目录服务提供了分布式注册检索服务地址的功能。在提供目录服务返回服务地址的时候,调用dubbo的路由服务,实现了请求服务的路由功能。接下来,我们来讨论目录服务的实现细节。

            1、Directory接口

            

            Directory接口中,

            Class<T> getInterface()方法返回服务的接口类;

            list(Invocation invocation)就是获取服务地址列表的方法;

            父接口Node中,

            getUrl()方法返回了服务声明的URL信息,

            isAvailable()方法判断目录服务是否可用,或者是否存在可用的服务提供者;

            destroy()销毁目录服务及所有提供者服务。

            

            2、AbstractDirectory,目录服务的默认实现抽象类;

            (1)将路由对象引入目录服务,方法setRouters()设置了路由对象,实现见如下代码:        

     1     protected void setRouters(List<Router> routers) {
     2         // copy list
     3         routers = routers == null ? new ArrayList<Router>() : new ArrayList<Router>(routers);
     4         // append url router
     5         String routerkey = url.getParameter(Constants.ROUTER_KEY);
     6         if (routerkey != null && routerkey.length() > 0) {
    //通过SPI实例化配置的路由对象工厂对象
    7 RouterFactory routerFactory = ExtensionLoader.getExtensionLoader(RouterFactory.class).getExtension(routerkey); 8 routers.add(routerFactory.getRouter(url)); 9 } 10 // append mock invoker selector 11 routers.add(new MockInvokersSelector()); 12 Collections.sort(routers); 13 this.routers = routers; 14 }

             (2)得到服务对象列表,主要通过doList()实现得到服务列表,此方法由子类实现,然后依次调用router列表做路由筛选,实现如下:

     1     public List<Invoker<T>> list(Invocation invocation) throws RpcException {
     2         if (destroyed) {
     3             throw new RpcException("Directory already destroyed .url: " + getUrl());
     4         }
     5         List<Invoker<T>> invokers = doList(invocation);
     6         List<Router> localRouters = this.routers; // local reference
     7         if (localRouters != null && localRouters.size() > 0) {
     8             for (Router router : localRouters) {
     9                 try {
    10                     if (router.getUrl() == null || router.getUrl().getParameter(Constants.RUNTIME_KEY, false)) {
    11                         invokers = router.route(invokers, getConsumerUrl(), invocation);
    12                     }
    13                 } catch (Throwable t) {
    14                     logger.error("Failed to execute router: " + getUrl() + ", cause: " + t.getMessage(), t);
    15                 }
    16             }
    17         }
    18         return invokers;
    19     }

            3、StaticDirectory静态目录服务,doList()将构造方法中传入的invoker列表原样返回。

            4、RegistryDirectory 类整合了注册中心和目录服务,具体实现实在dubbo-register模块,我将另外写一篇博客讨论。

            六、Dubbo提供了哪些路由机制?如何实现的?

            路由机制为用户提供了灵活可配置的服务筛选功能,通过用户自定义配置路由规则,决定一次 dubbo 服务调用的目标服务器。使用场景例如:提供差异化服务,给重要的请求提供性能好的服务器,反之给次要的服务提供性能差的服务器;读写分离,根据方法名字add,update,delete等分为一组,查询方法分为一组,分别映射到不同的服务器上;对客户端设置白名单、黑名单;更多场景及具体的应用说明详见dubbo用户手册路由规则篇

            dubbo提供了两种路由机制:条件路由和脚本路由。

            1、向注册中心写入路由规则,通常由监控中心或服务治理页面完成,代码实现主要在dubb-register模块:

    1 RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
    2 Registry registry = registryFactory.getRegistry(URL.valueOf("zookeeper://10.20.153.10:2181"));
    3 registry.register(URL.valueOf("condition://0.0.0.0/com.foo.BarService?category=routers&dynamic=false&rule=" + URL.encode("host = 10.20.153.10 => host = 10.20.153.11") + "));

            其中:

    • condition:// 表示路由规则的类型,支持条件路由规则和脚本路由规则,可扩展,必填。
    • 0.0.0.0 表示对所有 IP 地址生效,如果只想对某个 IP 的生效,请填入具体 IP,必填。
    • com.foo.BarService 表示只对指定服务生效,必填。
    • category=routers 表示该数据为动态配置类型,必填。
    • dynamic=false 表示该数据为持久数据,当注册方退出时,数据依然保存在注册中心,必填。
    • enabled=true 覆盖规则是否生效,可不填,缺省生效。
    • force=false 当路由结果为空时,是否强制执行,如果不强制执行,路由结果为空的路由规则将自动失效,可不填,缺省为 flase
    • runtime=false 是否在每次调用时执行路由规则,否则只在提供者地址列表变更时预先执行并缓存结果,调用时直接从缓存中获取路由结果。如果用了参数路由,必须设为 true,需要注意设置会影响调用的性能,可不填,缺省为 flase
    • priority=1 路由规则的优先级,用于排序,优先级越大越靠前执行,可不填,缺省为 0
    • rule=URL.encode("host = 10.20.153.10 => host = 10.20.153.11") 表示路由规则的内容,必填。

            2、条件路由

            基于条件表达式的路由规则,如:host = 10.20.153.10 => host = 10.20.153.11。=>左边的表达式表示消费端信息(matchWhen),右边的表达式表示服务提供者的服务信息(matchThen)。

            代码实现中,解析=>左右的条件表达式,左侧消费端条件表达式解析成when,右侧服务端条件表达式解析成then,封装matchWhen()和matchThen()分别匹配消费端和服务端表达式。

            我们看看源码如何实现路由逻辑的。

            条件路由实现主要靠两个类,ConditionRouterFactory,实现了ConditionRouter实例化的过程;ConditionRouter,实现了具体的路由机制,其中route方法实现如下,实现主要靠解析和匹配条件表达式。

     1     public <T> List<Invoker<T>> route(List<Invoker<T>> invokers, URL url, Invocation invocation)
     2             throws RpcException {
     3         if (invokers == null || invokers.size() == 0) {
     4             return invokers;
     5         }
     6         try {
    //消费端条件不匹配规则,就全部返回
    7 if (!matchWhen(url, invocation)) { 8 return invokers; 9 } 10 List<Invoker<T>> result = new ArrayList<Invoker<T>>(); 11 if (thenCondition == null) { 12 logger.warn("The current consumer in the service blacklist. consumer: " + NetUtils.getLocalHost() + ", service: " + url.getServiceKey()); 13 return result; 14 } 15 for (Invoker<T> invoker : invokers) {
    //遍历invokers,找到匹配规则的invoker(服务端)加入result
    16 if (matchThen(invoker.getUrl(), url)) { 17 result.add(invoker); 18 } 19 } 20 if (result.size() > 0) { 21 return result; 22 } else if (force) { //如果结果为空,force=true,则返回空的列表,否则返回所有的invokers(不执行route规则) 23 logger.warn("The route result is empty and force execute. consumer: " + NetUtils.getLocalHost() + ", service: " + url.getServiceKey() + ", router: " + url.getParameterAndDecoded(Constants.RULE_KEY)); 24 return result; 25 } 26 } catch (Throwable t) { 27 logger.error("Failed to execute condition router rule: " + getUrl() + ", invokers: " + invokers + ", cause: " + t.getMessage(), t); 28 } 29 return invokers; 30 }

      

             3、脚本路由

            通过配置脚本或脚本文件设置路由规则rule,程序编译执行脚本函数,得到脚本筛选后的invokers数组。具体逻辑很简单,就是加载脚本,加载对应脚本引擎,执行脚本,得到结果后转换输出的过程。

     1     public <T> List<Invoker<T>> route(List<Invoker<T>> invokers, URL url, Invocation invocation) throws RpcException {
     2         try {
     3             List<Invoker<T>> invokersCopy = new ArrayList<Invoker<T>>(invokers);
     4             Compilable compilable = (Compilable) engine;
     5             Bindings bindings = engine.createBindings();
     6             bindings.put("invokers", invokersCopy);
     7             bindings.put("invocation", invocation);
     8             bindings.put("context", RpcContext.getContext());
     9             CompiledScript function = compilable.compile(rule);
    10             Object obj = function.eval(bindings);
    11             if (obj instanceof Invoker[]) {
    12                 invokersCopy = Arrays.asList((Invoker<T>[]) obj);
    13             } else if (obj instanceof Object[]) {
    14                 invokersCopy = new ArrayList<Invoker<T>>();
    15                 for (Object inv : (Object[]) obj) {
    16                     invokersCopy.add((Invoker<T>) inv);
    17                 }
    18             } else {
    19                 invokersCopy = (List<Invoker<T>>) obj;
    20             }
    21             return invokersCopy;
    22         } catch (ScriptException e) {
    23             //fail then ignore rule .invokers.
    24             logger.error("route error , rule has been ignored. rule: " + rule + ", method:" + invocation.getMethodName() + ", url: " + RpcContext.getContext().getUrl(), e);
    25             return invokers;
    26         }
    27     }

             七、总结集群模块如何带来高可用、自动发现、可治理的特性?

             集群模块在dubbo中非常重要,提供了基于RPC功能的高可用特性,此特性主要是通过集群容错和负载均衡策略支持的,在服务提供者出现异常时,可配置的容错特性确保服务能按照配置的策略返回,或切换到其他服务并重试,或立即抛出异常,满足了不同服务不同场景的异常后处理需要。可配置的负载均衡策略满足了不同场景、需求的服务实现负载均衡,在不同场景下均匀的分摊负载,在负载不够用的情况下灵活的增加机器节点承担多余的负载,保证了集群的高可用特性。并且可以灵活配置节点的权重,实现针对不同配置的服务节点承担的请求不同。

            可配置的路由功能满足了很多场景下的灵活路由需求,如读写分离,消费端请求的白名单、黑名单,针对不同配置的服务提供给不同的消费者等等。由于可配置性强,可以针对不同的需求做不同的配置,可提供很灵活的功能特性。通过配置规则,实现服务降级,可以屏蔽有问题的服务,并定义服务响应。这些都体现了Dubbo可治理的特性。

            目录服务简单的定义了对服务地址列表的查询功能,配合dubb-register注册中心模块功能可以实现服务注册、自动发现功能。详见注册中心模块的源码分析章节。

            集群模块就讨论到这里了,如有不当之处,欢迎大家提出异议和宝贵的意见,这样有助于我技术上的提升。

  • 相关阅读:
    kubernetes集群-04测试kubernetes集群
    kubernetes集群-03网络calico
    kubernetes集群-02部署Master Node
    kubernetes集群-01基础设置(v1.18.0)
    AWS CLI 安装
    如何理解AWS ELB
    AWS-CLI-Command
    terraform 常用命令
    terraform 初始化
    Excel设置下拉框
  • 原文地址:https://www.cnblogs.com/markcd/p/8454569.html
Copyright © 2020-2023  润新知