一.系统描述
嗨,好久不见各位老哥,最近有点懒,技术博客写的太少了,因为最近在写小说,写的顺利的话说不定就转行了,哈哈哈哈哈哈哈哈哈。
今天要介绍的是基于.Net Core的定时任务调度和消息队列管理系统。相信大家对这两个肯定都已经很熟悉了,在开发过程中,这两个组件扮演了不可或缺的角色:
消息队列帮助我们进行 ”解耦“、”异步“、”削峰“
定时任务帮助我们进行 "后台"、”监控"、“补偿"
定时任务调度系统大家都介绍过很多次了,园子里的很多文章我也都拜读过,我相信大家实际的工作中肯定也都在频繁的使用它。目前主流的组件有 Quartz和Hangfire两种,在两者的选择上来说建议大家熟悉哪个用哪个就可以,Hangfire是自带UI管理界面的,所以如果想直接接入系统并且不想再进行二次开发做UI,可以直接选择Hangfire。
因为我对于Quartz更熟悉,所以本系统的定时任务调度基于Quartz开发,消息队列基于RabbitMQ,同时有一套UI,用于可视化操作定时任务调度和管理消息队列配置。
本系统是开发自用的,原型是公司工作中使用的系统,私下里重写了一套后台代码,但是UI还是公司的那一套,因为是自用,所以无法达到直接开箱即用的效果,写这篇的目的只是希望分享两者的使用方式和场景,帮助各位在遇到相同应用场景的问题时能够有更多解决思路。
二.功能介绍
1.MQ界面化动态配置,对代码几乎无入侵。(当然你还是需要引用nuget用来Publish消息的)
2.提供定时任务调度功能。(基于Quartz,可以精确到秒,执行方式包括接口、sql脚本、elk)
3.基于数据库脚本的异常数据监控。(通过定时任务调度系统执行监控的sql脚本)
3.自动补偿。(当异常数据通过sql脚本监控出来后,发送MQ到指定消费接口进行数据处理)
三、系统架构介绍
整个系统包括六部分:
1. MI.MessageQueue:消息队列基础组件,就是我们用来操作RabbitMQ的一系列方法。
2.MI.MQStationServer:消息队列管理服务,提供包括消息队列的增删改查接口,消费MQ消息。
3.MI.Service.Blade:定时任务调度管理服务,提供定时任务相关的一系列操作接口。
4.MI.Biz.MQStation:消息队列windows服务,用于消费MQ,主要是建立相关的消息消费者,并转发消息到消息队列管理服务。
5.MI.Biz.Blade:定时任务windows服务,用于创建及转发相应的任务,真正的执行在MI.Service.Blade服务。
6.MI.Monitor.Web:UI管理界面,以上两者所有的增删改查都在这里。
以下是定时任务调度系统间的交互:
简单描述一下,用户在MI.Monitor.Web系统中通过界面化的操作创建定时任务,其会调用API接口也就是MI.Service.Blade服务,将操作的数据写入数据库,对于增删改,数据库写入完成后会发送一条MQ消息,Windows服务MI.Biz.Blade收到MQ消息后,根据消息中的数据添加或更改Quartz配置信息,对于定时任务Quartz完全基于代码动态化创建和删除。这样交互的好处一方面是解耦,这个比较明显,这里解耦带来的一个好处是异常隔离,本身三者之间的分工不同,对于发生问题的一方只在内部消化;第二点好处是方便横向扩展,无论是Windows服务还是API都可以根据自身的负载动态加减机器。当然,对于WIndows服务我们要做集群,通过Zookeeper可以实现,防止单点故障。
以下是消息队列系统的交互:
看起来和上面的定时任务调度交互好像差不多,不过这个地方的麻烦点其实在于基础组件的编写,就是MI.MessageQueue里面的一系列RabbitMQ操作,目前支持单消息、批量消息、延时消息,延时消费需要借助RabbitMQ官方提供的 ”rabbitmq_delayed_message_exchange“插件,有需要的话可以去了解以下,官方的API支持该操作。
还是照例描述一下消息队列的数据交互流程,用户在MI.Monitor.Web系统中通过界面化的操作创建或者更新消息队列,其会调用API接口也就是MI.MQStationServer服务,将操作的数据写入数据库,写入完成后会创建交换器(Exchange),然后发送MQ消息,Windows服务MI.Biz.MQStation收到消息后,将队列和RouteKey绑定到对应的交换器,同时创建消费者,绑定监听回调,该回调只是当作一个转发,收到消息后会通过接口将数据发送到MI.MQStationServer服务,根据在UI中配置的RouteKey和要消费的接口进行消费处理。
消息队列这样设计的好处之一是解耦,同时异常隔离,这个就不说了,大家都明白;当然最重要的好处就是可以动态扩展,消费压力大,多启动几个windows服务和API服务,就是多加些消费者,这个理解起来也比较简单。
四、优化和展示
对于消息队列系统目前还在开发中的功能是消息的数量统计,该系统是支持查看每个队列未消费的消息量,但是还没开发完成,这边博文会一直更新的。
下面是系统的部分界面:
定时任务界面: