限流:通过对并发访问/请求进行限速,或者对一个时间窗口内的请求进行限速来保护系统,一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理
1、计数法(固定时间窗口限流算法):
选定一个时间的起点,之后每当有接口请求到来,我们就将计数器加1,如果在当前时间窗口内,根据限流规则(每秒钟允许100次访问请求),出现累加访问次数超过限流值情况,我们请拒绝后续访问请求。当进入下一个时间窗口后,计数器就清零重新计数。
缺点:限流策略过于粗略,无法应对两个时间窗口临界时间内的突发流量
2、滑动时间窗口限流算法:
在任意1s的时间窗口内,接口的请求次数都不能大于K次。
维护一个K+1的循环队列,用来记录1s内到来的请求,【当队列满时,tail指向的位置实际上是没有存储数据的,所以循环队列会浪费一个数组的存储空间】
当有新的请求到来时,我们将与这个新请求的时间间隔超过1s的请求,从队列中删除。然后我们再来看循环队列中是否有空闲位置。如果有,则把新请求存储在队列尾部,如果没有,则说明1s内的请求次数已经超过了限流值K,所以这个请求被拒绝服务。
缺点:只能在选定时间粒度上限流,对选定时间粒度内的更加细粒度的访问频率不做限制。
循环队列代码:
/** * 队空条件 head == tail * 队满条件 (tail + 1)% n == head * 当队列满时,tail指向的位置实际上是没有存储数据的,所以循环队列会浪费一个数组的存储空间。 */ public class CircularQueue { private String[] items; private int n; //队列大小 private int head = 0; private int tail = 0; public CircularQueue(int capacity) { items = new String[capacity]; this.n = capacity; } public boolean enqueue(String item) { //队列满了 if ((tail + 1) % n == head) return false; items[tail] = item; tail = (tail + 1) % n; return true; } public String dequeue() { if (head == tail) return null; //head == tail 队列是空 String ret = items[head]; head = (head + 1) % n; return ret; } }
常用的更平滑的限流算法:漏桶算法和令牌桶算法。
3、漏桶算法:
水(请求)先进入到漏桶里,漏桶以一定的速度出水(接口有响应速率),当水流入速度过大会直接溢出(访问频率超过接口响应速率),然后就拒绝请求可以看出漏桶算法能强行限制数据的传输速率。
缺点:对于突发的流量缺乏效率。
4、令牌桶:Google开源项目Guava中的RateLimiter使用的就是令牌桶控制算法。
系统会按恒定1/QPS时间间隔(如果QPS=100,则间隔是10ms)往桶里加入Token,如果桶已经满了就不再加了。新请求来临时,会各自拿走一个Token,如果没有Token可拿了就阻塞或者拒绝服务。
好处:允许流量一定程度的突发。
可以方便的改变速度. 一旦需要提高速率,则按需提高放入桶中的令牌的速率. 一般会定时(比如100毫秒)往桶中增加一定数量的令牌, 有些变种算法则实时的计算应该增加的令牌的数量