由于公司业务发展,需要考虑一些高并发系统保护的问题,整理记录一下。
当发现你的系统出现访问卡顿,服务器各种性能指标接近100%(如果一个初创型企业系统正常运行情况下出现这个问题,那么应该恭喜你,你懂得),首先想到的是该加机器了,现在要说的并不是加机器的事,而是说在高并发的情况下,从代码层面如何保护系统,记得某位大神的博客里讲过“在开发高并发系统时,有三把利器用来保护系统:缓存、降级和限流”。通过缓存,降级,限流能够很好地给你的系统加个保护罩。
一.缓存
缓存是一种提高系统读性能的常见技术,对于读多写少的应用场景,我们经常使用缓存来进行优化。由于大部分的请求时查询,通过缓存能够极大降低数据库的压力。缓存的做法多种多样,客户端可以做缓存,服务端可以做缓存。
当前主要的缓存方式有文件缓存,利用nosql缓存,一大坨数据通过一定的算法和配置分摊到集群中的若干台机器上(系统足够大的时候这么干比较好)。当前用的比较多的
(1)文件缓存
(2)redis ,memcache 利用内存读取速度,达到高速查询的目的
细节不多说了,还有一些缓存的方式如cdn等,具体的搜索去吧,还是那句话,不懂谷歌百度的程序员不是好厨子。
二.降级
当访问量剧增、服务出现问题(如响应时间慢或不响应)或非核心服务影响到核心流程的性能时,仍然需要保证服务还是可用的,即使是有损服务。系统可以根据一些关键数据排查,进行系统降级。
那么何为降级呢,降级其实总结起来就四个字“弃卒保帅”。举个例子来讲,拿电商网站来说吧,降级要做到的,保证核心购物流程,将级其他非核心业务功能。
降级的功能点主要从服务端链路考虑,从用户访问的角度,来梳理那些服务或者功能需要降级。
页面降级:在大促或者某些特殊情况下,某些页面占用了一些稀缺服务资源,在紧急情况下可以对其整个降级,以达到丢卒保帅;
页面片段降级:比如商品详情页中的商家部分因为数据错误了,此时需要对其进行降级;
页面异步请求降级:比如商品详情页上有推荐信息/配送至等异步加载的请求,如果这些信息响应慢或者后端服务有问题,可以进行降级;
服务功能降级:比如渲染商品详情页时需要调用一些不太重要的服务:相关分类、热销榜等,而这些服务在异常情况下直接不获取,即降级即可;
读服务降级:比如多级缓存模式,如果后端服务有问题,可以降级为只读缓存,这种方式适用于对读一致性要求不高的场景;
写服务降级:比如秒杀抢购,我们可以只进行Cache的更新,然后异步同步扣减库存到DB,保证最终一致性即可,此时可以将DB降级为Cache。(常用手段)
...降级手法比较多,在这里就不一一说了。
三.限流 代码层算法实现
所谓限流,顾名思义,就是限制流量,通过限流我们可以很好地控制系统的QPS,从而达到保护系统的目的。
常用的算法有,计数器法(有临界值问题),漏桶算法,令牌桶算法。由于令牌桶算法由于实现简单,且允许某些流量的突发,对用户友好,所以被业界采用地较多。现在就来搞一下令牌桶算法。
为了更好的理解令牌桶算法,先附个图:
理解:有一个固定容量的桶,桶里存放着令牌(token)。桶一开始是空的,token以一个固定的速率r往桶里填充,直到达到桶的容量,多余的令牌将会被丢弃。每当一个请求过来时,就会尝试从桶里移除一个令牌,如果没有令牌的话,请求无法通过。直接上代码
//令牌桶伪代码走起 public class TokenBucket { public long timeStamp = NowTime();//当前时间 public int capacity; // 桶的容量 public int rate; // 令牌放入速度 public int tokens; // 当前令牌数量 public boolean grant() { long now = NowTime(); // 先添加令牌 tokens = min(capacity, tokens + (now - timeStamp) * rate); timeStamp = now; if (tokens < 1) { // 若不到1个令牌,则拒绝 return false; }else { // 还有令牌,领取令牌 tokens -= 1; return true; } } }