25

最近一个外部的项目，使用到了消息队列，本来是用rabbitmq实现的，但是由于是部署到别人家的服务器上，想尽量简化一些，项目中本来也要接入了redis缓存，就尝试使用redis来实现简单的消息队列。

使用redis做消息队列有两种方法，一种是使用pub/sub，另一种是使用list结构，配合brpop来消费。这两种方式各有特点，这里简述一下：

pub/sub模式，支持多客户端消费，但是不支持持久化，这就意味着客户端断开的时间内发布的消息将会全部舍弃掉。
list配合brpop，默认不支持多客户端消费，支持持久化。这种模式的多客户端消费可以变相实现，比如下面的伪代码：
#第一步push消息到队列
lpush listA msg
#第二步，一个专门的分发客户端取出消息，push到各个子队列
var msg=brpop listA
lpush listA1 msg
lpush listA2 msg
…
#第三步，多个客户端从对应的队列消费消息
var client1_msg= brpop listA1
var client2_msg= brpop listA2
…
消息丢失不太可取，所以我选择了list ，下一步需要选择一个合适的客户端。
Stackexchange.redis 算是一个老牌的客户端了，但是由于其采用多路复用的模式，没法支持Redis的blocking pops特性。所以我采用了国人写的CSRedisCore。

首先需要在appsettings.json中添加redis的连接字符串：

{
“ConnectionStrings”: {
“redis”: “{ip}:{port},password=123456,prefix=my_”
}
}

具体配置请参考github上的文档：https://github.com/2881099/csredis

然后在startup.cs的ConfigureServices中配置redis:

   public void ConfigureServices(IServiceCollection services)
   {
        //redis配置
        RedisHelper.Initialization(new CSRedis.CSRedisClient(Configuration.GetConnectionString("redis")));
   }

• 1
• 2
• 3
• 4
• 5

当然也可以采用依赖注入的方式添加CSRedisClient实例，这个不纠结。

在项目中有好几处使用到了队列，所以先封装一个消费服务：

public abstract class RedisMQConsumer : BackgroundService
{
    protected abstract string CacheKey { get; }

    protected ILogger<RedisMQConsumer> logger;

    public RedisMQConsumer(ILogger<RedisMQConsumer> logger)
    {
        this.logger = logger;
    }

    protected override Task ExecuteAsync(CancellationToken stoppingToken)
    {
        return Task.Run( async() =>
        {
            while (!stoppingToken.IsCancellationRequested)
            {
                try
                {
                    var msg = RedisHelper.BRPop(5, CacheKey);
                    try
                    {
                        if (string.IsNullOrEmpty(msg)) continue;
                        if (!Process(msg))
                        {
                            //加入错误处理队列，可以在后台写功能手动处理
                            RedisHelper.LPush(CacheKey + "_err", msg);
                        }
                    }
                    catch (Exception exp)
                    {
                        //加入错误处理队列，可以在后台写功能手动处理
                        RedisHelper.LPush(CacheKey + "_err", msg);
                        logger.LogError(exp, "RedisMQConsumer Execute error");
                    }
                }
                catch
                {
                    //网络可能中断
                    await Task.Delay(TimeSpan.FromSeconds(5), stoppingToken);
                }
                    
            }
        }, stoppingToken);
    }

    protected abstract bool Process(string message);
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48

然后就可以继承RedisMQConsumer，编写实际逻辑：

public class AddOrderMQConsumer : RedisMQConsumer
{
    public AddOrderMQConsumer(ILogger<RedisMQConsumer> logger) : base(logger)
    {
    }
    protected override string CacheKey => "addOrder";
    protected override bool Process(string message)
    {
        var order = JsonSerializer.Deserialize<Order>(message);
        //处理逻辑
        return true;
    }
}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13

发布消息只是往队列中添加项：

RedisHelper.LPush(“addOrder”, order);
最后把消费服务添加到startup.cs中：

   public void ConfigureServices(IServiceCollection services)
    {
        //redis配置
        RedisHelper.Initialization(new CSRedis.CSRedisClient(Configuration.GetConnectionString("redis")));
        
        //redis消息队列消费服务，放在redis配置下方
        services.AddHostedService<AddOrderMQConsumer>();
    }