• 后端多环境治理的实践(二)


    上一篇文章后端多环境治理的实践(一)我们介绍了什么是后端多环境治理,而且用springcloud实现了微服务调用的多环境治理。

    实现了之后,我们微服务的流量调度如下图:

    图片

    但是mq的消费怎么办,mq的消费是没有办法做自定义的负载均衡,消费逻辑是由mq来决定的,经过mq之后,流量调度就会失效。

    image.png

    default版本的score和v1版本的score会随机消费mq消息。

    一、公司的解决方案

    先说一下,公司用的是rocketmq。

    而且公司有专门的mq团队,他们对mq做了各种的魔改,其中一个魔改就是所有的mq消息者不会直接连接mq,而且经过一个mq_proxy再连接到mq。

    image.png

    所以公司的mq的消费可以自定义自己的路由规则。

    具体实现如下:

    image.png

    1. 基准消息和feature消息复用topic。生产者会根据context,在消息的header里添加env属性。

    2. 当feature consumer启动时,会在proxy根据version注册对应的filter

    3. 当feature consumer拉取消息,proxy会根据注册的filter,将对应version的消息过滤出来加到本地缓存里

    4. feature consumer拉取消息,会从proxy的本地缓存里poll消息

    大家知道一下原理就好,对于一般的公司来说,不太有能力去修改mq源代码,也不太可能有专门的基建团队去打造一个mq_proxy中间件出来。

    二、我的解决方案

    我没有能力魔改m,也没能力造一个mq_proxy。

    但是只要理解了解决方案,就能实现多环境的mq消费,只是实现的方式会low一点。

    要实现mq的多环境流量调度,只要做四件事:

    1、**每个微服务注册启动的时候,要带上一个标记,标记自己当前的版本,消息发送时要把这个标记放到mq_message的header里面。

    2、每个微服务启动的时候,要向某个地方注册一下,标记现在存在一个某个版本的消费者

    3、所有的mq消费要经过统一的代理。

    4、消费代理者执行如下逻辑:“如果消息的版本与本地版本相同,则本地消费,如果消息的版本与本地版本不相同,则判断是否存在对应版本的消费者,如果存在则转发给对应版本的消费者,如果不存在则本地消费”。
    image.png

    三、具体代码实践

    下面以rabbitmq为例子去实现多环境mq消费

    最终实现效果如下:

    image.png

    oder-base发出的消息,user-base消费。

    order-v1发出的消息,user-v1消费。

    oder-v2发出的消息,user-base消费。

    1、**每个微服务注册启动的时候,要带上一个标记,标记自己当前的版本,消息发送时要把这个标记放到mqmessage的header里面。

    上一期我们已经给每个实例标记了一个版本号,只要把这个版本号丢到mq的header里面,就能给这个message标记他的version。

    图片

    2、每个微服务启动的时候,要向某个地方注册一下,标记现在存在一个某个版本的消费者

    这里实现的方法有很多,可以用zookeeper、redis,这里我利用rabbitmq的自动删除队列的特性,如果某个队列是自动删除队列,而且曾经有消费者连接过他,当没有消费者消费该queue时,该queue会自动删除。

    所以只要我们的featrue消费者启动的时候,向rabbitmq注册某个featrue特有的queue,根据这个特性,只要我们看某条queue是否存在,就知道是否有featrue消费者存在了。

    3、所有的mq消费要经过统一的代理。

    公司是通过统一的proxy做的,而我则可以通过sdk的方式,自定义原生的mq消费者的方式去做mq消费者的代理。

    先写一个抽象消费类

    image.png

    创建一个MyQueuelister去实现这个抽象类

    image.png

    spring容器启动的时候,找出所以继承了RabbitmqLister的bean。

    然后手动注册消费者

    @Slf4j
    @Configuration
    public class RabbitmqListerConfig implements InitializingBean{
        @Autowired
        private List<RabbitmqLister> rabbitmqListerList;
        @Autowired
        private ConnectionFactory connectionFactory;
        @Autowired
        private Environment environment;
        @Autowired
        private ApplicationContext applicationContext;
        @Override
        public void afterPropertiesSet() throws Exception {
            rabbitmqListerList.forEach(r->{
                try {
                    String queueName = r.getQueueName();
                    Connection connection = connectionFactory.createConnection();
                    Channel channel = connection.createChannel(false);
                    RabbitAdmin rabbitAdmin = applicationContext.getBean(RabbitAdmin.class);
                    String version = environment.getProperty(Constont.VERSION);
    
                    if (!StringUtils.equals(version,Constont.DEFAULT_VERSION)){
                        queueName = queueName +"-"+version;
                        Queue queue = new Queue(queueName, true, false, true);
                        rabbitAdmin.declareQueue(queue);
                    }
    
    
                    Consumer consumerB = new DefaultConsumer(channel){
                        @Override
                        public void handleDelivery(String consumerTag, Envelope envelope,
                                                   AMQP.BasicProperties properties, byte[] body)
                                throws IOException {
                            try {
                                Map<String, Object> headers = properties.getHeaders();
                                String msgVersion = headers.get(Constont.VERSION)==null?Constont.DEFAULT_VERSION:headers.get(Constont.VERSION).toString();
                                String version = environment.getProperty(Constont.VERSION);
                                ObjectMapper objectMapper = new ObjectMapper();
                                String o = objectMapper.readValue(body, String.class);
                                if(StringUtils.equals(version,msgVersion)){
                                    r.handler(o,properties);
                                    channel.basicAck(envelope.getDeliveryTag(),false);
                                    return;
                                }
    
                                String queueName = Constont.MY_QUEUE + "-" + msgVersion;
                                QueueInformation queueInfo = rabbitAdmin.getQueueInfo(queueName);
                                if (queueInfo == null || queueInfo.getConsumerCount() ==0) {
                                    r.handler(o,properties);
                                    channel.basicAck(envelope.getDeliveryTag(),false);
                                    return;
                                }
                                channel.basicPublish("",queueName,properties,body);
                                channel.basicAck(envelope.getDeliveryTag(),false);
                            }catch (Exception e){
                                log.error("",e);
                            }
                        }
                    };
                    channel.basicConsume(queueName,consumerB);
                } catch (IOException e) {
                   log.error("",e);
                }
            });
        }
    }
    

    4、消费代理者执行如下逻辑:“如果消息的版本与本地版本相同,则本地消费,如果消息的版本与本地版本不相同,则判断是否存在对应版本的消费者,如果存在则转发给对应版本的消费者,如果不存在则本地消费”。

    通过判断是有个featrue-queue来判断是否有fetrue-cosumer,如果有则把消费投递到featrue-queue。

    图片

    具体代码实现细节在3里面。

    image.gif

    四、验证

    在order服务,我们编程一个接口用来发送消息。

        @GetMapping("/sendMq")
    

    1、打包

    mvn clean install -DskipTests
    

    2、使用docker启动rabbitmq

    docker run -d --hostname my-rabbit --name rabbit -p 15672:15672 -p 5672:5672 rabbitmq:management
    

    3、启动eureka、gateway和3个版本的order服务

    nohup java -jar -Dserver.port=8761 eureka/target/eureka-0.0.1-SNAPSHOT.jar  >null 2>&1 &
    nohup java -jar -Dserver.port=5000 gateway/target/gateway-0.0.1-SNAPSHOT.jar  >null 2>&1 &
    nohup java -jar -Dserver.port=8001 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
    nohup java -jar -Dversion=v1 -Dserver.port=8002 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
    nohup java -jar -Dversion=v2 -Dserver.port=8003 order/target/order-0.0.1-SNAPSHOT.jar  >null 2>&1 &
    

    4、开另外两个终端,去启动user服务,这里直接启动用来看日志打印。

    java -jar -Dserver.port=9001 user/target/user-0.0.1-SNAPSHOT.jar
    
    java -jar -Dversion=v1 -Dserver.port=9002 user/target/user-0.0.1-SNAPSHOT.jar
    

    5、发送请求验证

    curl --location --request GET 'localhost:5000/order/sendMq?msg=djb'
    

    然后查看default的user服务

    image.png

    curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv1' 
    

    然后查看v1的user服务

    image.png

    curl --location --request GET 'localhost:5000/order/sendMq?msg=djbv2' 
    

    然后查看default的user服务

    image.png

    五、最后

    我们已经解决了后端多版本的rpc调用和mq消费调用了。

    其实还有一个场景就是配置的多版本。

    有些时候,我们需要defalut版本的实例和v1版本的实例使用不同的配置。

    而springcloud-config是没办法完成这个需求的。

    下一篇文章,我将会介绍后端多环境的情况下,怎么做到不同版本的实例使用不同版本的配置。

    图片

    代码地址:

    关注“从零开始的it转行生”,回复“多环境”获取

    欢迎关注我的公众号:“从零开始的it转行生”
  • 相关阅读:
    LootCode-链表排序-Java
    Vue创建项目及基本语法 一
    七大设计原则、单一职责原则
    SpringBoot 将自制的Starter 发布到远程公服
    SpringBoot 系列
    Mysql Sql 语句练习题 (50道)
    一、SpringBoot学习笔记_Eclipse 安装 SpringBoot、配置Gradle
    七、垃圾回收_判断对象是否存活算法_可达性分析法详解
    从零开始搭建Django+vue前后端分离项目
    Airtest一:批量运行脚本、汇总报告、导出报告
  • 原文地址:https://www.cnblogs.com/yeyongjian/p/15150425.html
Copyright © 2020-2023  润新知