限流中间件的话,为啥不使用这个呢? https://github.com/stefanprodan/AspNetCoreRateLimit
.NET6运行时动态更新限流阈值
昨天博客园撑不住流量又崩溃了，很巧正在编写这篇文章，于是产生一个假想：如果博客园用上我这个限流组件会怎么样呢？
- 用户会收到几个429错误，并且多刷新几次就看到了内容，不会出现完全不可用。
- 还可以降低查询接口的限流阈值，提升保存接口的限流阈值，这样写操作影响比较小，创作不易，丢了就麻烦了。
- 然后后端服务不会崩溃，可以从容的增加服务器容量，然后再增大限流阈值。
- 如果能识别出来非正常的用户请求，比如IP、Cookie、Url等请求携带的特定信息，那专门对它们限流的效果会很好。
- 如果是数据库先撑不住，那这个限流就形同虚设了，说明限流阈值可能太大，需要做下压测，看看多少合适。
当然还可能有一种结果，我这个限流组件撑不住，这可能吗？如果基于内存的限流计数，每个节点每秒可支撑百万级别，如果基于Redis限流计数，这个就得看网络IO和Redis IO了，也不应该是组件的问题。
这里开始正文。
自FireflySoft.RateLimit发布以来，帮助了不少需要在.net中进行限流处理的用户。前段时间有个开发者发了一个pull request，大意是Redis重启的时候Lua script会丢失，但是程序中还认为它存在，所以就会一直抛出异常，那位同学通过捕捉一个特定异常再reload Lua script的方式解决了这个问题。经过一段时间的测，试运行良好，因为这个问题还是相对常见的，所以就发布了一个版本 2.0.2，建议通过nuget尽快升级。
之前还有用户问怎么在程序执行过程中动态更改限流的阈值，比如原来限流100/s，现在服务性能更好了，要改成限流300/s。FireflySoft.RateLimit底层是支持的，通过IAlgorithm.UpdateRules或者UpdateRulesAsync即可实现。不过这只是开放了一个基础能力，实际还需要开发者自己去做更多的工作，比如定义限流阈值的数据格式、从其它配置系统中定时获取最新的限流阈值等。为了更方便开发者使用这个类库，同时恰逢.NET 6正式发布，所以这里用.NET6编写一个Demo程序，可以实现程序运行时动态更新限流阈值。
限流需求
这里假设需求是这样的：
- 有一个天气服务，包含两个接口：GetToday（获取今天的天气）、GetTomorrow（获取明天的天气）。
- 对每个访问者分别单独限流，具体限流阈值：GetToday 20次/秒、GetTomorrow 10次/秒，所有接口总计 25次/秒。
- 每秒的访问次数并不均匀，有一定的突发请求。大部分情况下低于限流阈值，极少数时可能会超出限流阈值30%。
限流配置
FireflySoft.RateLimit中不同的限流算法有不同的限流规则定义，因为有突发情况，所以这里采用令牌桶算法。根据限流需求，这里定义了一个限流配置，它是应用到每一个用户的。
public class RateLimitConfiguration
{
public string? Path { get; set; }
public LimitPathType PathType { get; set; }
public int TokenCapacity { get; set; }
public int TokenSpeed { get; set; }
}
其中：
- Path 用来定义接口路径，形如：/WeatherForecast/GetToday
- PathType 指定应用到的接口类型：单个接口还是所有接口
- TokenCapacity 是令牌桶容量
- TokenSpeed 是令牌放入速度，这里固定单位是：个/秒，FireflySoft.RateLimit支持更小的时间单位。
同时为了方便限流规则的更新，它可以用来传输或者持久化到各种存储中。我把配置保存在MySQL中，更改限流阈值时更新数据库内容，应用限流阈值时从数据库中查询限流阈值。你也可以把这个配置放到任何其它地方，比如Consul、Redis，甚至配置文件中。
处理架构
为了描述的更清晰，我这里提供一张图：
如上图所示，业务服务集成了限流功能，核心模块有两个：
- 限流处理：这个直接集成FireflySoft.RateLimit.AspNetCore即可实现。
- 监控配置变更：这是单独扩展的部分，主要逻辑是：读取数据库中的限流规则配置，如果有变化，则调用FireflySoft.RateLimit的限流规则更新接口。
其它模块：
- 构造错误：这个也是FireflySoft.RateLimit.AspNetCore自带的功能，可以自定义错误码和错误消息内容。
- 限流配置更改程序：这里没有实现。功能就是更改数据库中的限流规则配置，我们测试直接改数据库就行了。
编写代码
这里写了一个基于.Net6 的 WebAPI demo，项目结构如下图，你也可以直接点开查看：samples/aspnetcore6 (github.com)
为了方便集成到自己的项目中，这里也写一下具体的使用步骤：
1、创建或打开你的项目
打开项目，你可以用Visual Studio，也可以用Visual Studio Code。
如果项目是.NET Framework，必须是4.6.1及以上。如果是.NET Core，必须是2.0及以上。这里是.NET6。
2、安装Nuget包
你可以使用Package Manager：
Install-Package FireflySoft.RateLimit.AspNetCore -Version 2.0.2-rc1也可使用.NET CLI：
dotnet add package FireflySoft.RateLimit.AspNetCore --version 2.0.2-rc13、配置数据库表
你需要有一个MySQL，我建议是5.7及以上，下边是创建表和测试配置的SQL脚本：
CREATE TABLE `rate_limit_rule` (
`Id` varchar(40) NOT NULL,
`Path` varchar(100) NOT NULL,
`PathType` int(11) NOT NULL,
`TokenCapacity` int(11) NOT NULL,
`TokenSpeed` int(11) NOT NULL,
`AddTime` datetime NOT NULL,
`UpdateTime` datetime NOT NULL,
PRIMARY KEY (`Id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
INSERT INTO rate_limit_rule (Id,`Path`,PathType,TokenCapacity,TokenSpeed,AddTime,UpdateTime) VALUES
('1','/WeatherForecast/GetToday',1,26,20,'2021-11-16 00:00:00.0','2021-11-16 00:00:00.0'),
('2','/WeatherForecast/GetTomorrow',1,13,10,'2021-11-16 00:00:00.0','2021-11-16 00:00:00.0'),
('3','All',2,29,25,'2021-11-16 00:00:00.0','2021-11-16 00:00:00.0');
打开项目中的appsettings.json，添加一个DbConn的配置项：
{
"DbConn":"Server=127.0.0.1;User ID=root;Password=l123456;port=3306;Database=ratelimit;CharSet=utf8mb4;",
...
}
这里边的数据库地址、数据库名称、帐号密码、字符集都需要改成自己的。
你也可以使用其它的数据库连接配置方式，比如放到Consul中，或者写到自己的配置中心，甚至写死在代码中。
4、编写”监控配置变更“
在上边的架构图中，提到一个”监控配置变更“的部分，这个是这篇文章的重头戏。FireflySoft.RateLimit自身没有提供这部分，需要根据需求自己实现。我这里提供一个实现方案，仅供参考。
这个部分我写了5个文件：
- RateLimitRuleDAO.cs：实现从数据库查询出限流规则配置。
- RateLimitConfigurationManager.cs：实现跟踪数据库中的限流配置变更，如果有变更则触发一个事件。
- NonCapturingTimer.cs：用于定时查询数据库中的限流配置。不捕捉上下文的Timer，用习惯了而已。
- AutoUpdateAlgorithmManager.cs：注册事件到RateLimitConfigurationManager中，事件发生时更新到限流算法中。
- AutoUpdateAlgorithmService.cs：方便注册服务：向ASP.NET Core中注册上边这几个服务。
代码量比较大，这里就不贴了，可以到Github上查看详细。
5、注册服务和使用中间件
.NET6中這部分要写到Program.cs中，限于篇幅，这里省略了很多代码，只需要关注如下几行：
- builder.Services.AddAutoUpdateRateLimitAlgorithm 这个在AutoUpdateAlgorithmService.cs中定义的。
- builder.Services.AddRateLimit 这个是FireflySoft.RateLimit.AspNetCore定义的。
- app.UseRateLimit() 这个是FireflySoft.RateLimit.AspNetCore定义的。
using aspnetcore6.RateLimit;
using FireflySoft.RateLimit.AspNetCore;
var builder = WebApplication.CreateBuilder(args);
...
// Add firefly soft rate limit service
builder.Services.AddAutoUpdateRateLimitAlgorithm();
builder.Services.AddRateLimit(serviceProvider =>
{
var algorithmManager = serviceProvider.GetService<AutoUpdateAlgorithmManager>();
if (algorithmManager != null)
{
return algorithmManager.GetAlgorithmInstance();
}
return null;
});
var app = builder.Build();
...
// Use firefly soft rate limit middleware
app.UseRateLimit();
app.MapControllers();
app.Run();
6、启动服务并测试
可以使用Postman来运行一个Runner，执行100次，看看实际效果。
关于.NET6
虽然标题中提到了.NET6，不过到目前为止还没看到什么关于.NET6的特别内容，所以这里特别准备了一点关于.NET6的内容，否则就太标题党了。
如果你使用过.NET Core，其实.NET6用起来也没有太多变化，很多.net core、.net standard的库也都兼容，这里列举两点我感觉变化比较大的地方：
Namespace
现在namespace可以直接声明应用到整个文件，不需要再加大括号，被括号层级折磨的人轻松了。
using System.Collections.ObjectModel;
namespace aspnetcore6.RateLimit;
public class RateLimitConfiguration
{
public string? Path { get; set; }
public LimitPathType PathType { get; set; }
public int TokenCapacity { get; set; }
public int TokenSpeed { get; set; }
}
Top-level statements
Program.cs和Startup.cs的内容合并到Program.cs中了，并且不需要显式编写main方法，直接一行行的写就行了。这样确实又简便了一些。主要内容还是那两部分：构建Web应用（注册服务、使用中间件）、运行Web应用。
var builder = WebApplication.CreateBuilder(args); builder.Services.AddControllers(); ... var app = builder.Build(); ... app.MapControllers(); app.Run();
不过一个应用中只能有一个这样的文件，你也不能再写其它main方法作为程序的入口点。