数据库变为瓶颈后, 数据查询如何加速和优化?
正常来说有了主从分离和分库分表之后,已经可以支撑十几万的DAU,但量大了以后,磁盘io会成为一个瓶颈,需要额外方案去提供性能
---缓存
缓存其实不一定非要内存里,再某些场景下可以使用SSD作为冷数据的缓存,比如360开源的pika就是SSD存储数据解决redis的容量瓶颈
缓存是一种空间还时间的性能优化手段
http 协议的缓存机制, 当我们第一次请求静态资源时,比如一张图片,服务端除了返回图片信息,在响应头里还有一个Etag的字段,浏览器会缓存
图片信息及这个字段的值, 当下一次再请求时,浏览器发起的请求头里会有个if-none-match的字段,并且把etag的值写进去发给服务端, 服务端比较是否有变化
没变化,返回304,浏览器使用缓存的图片信息, 通过缓存协商的方式,可以减少网络传输的数据大小,从而提升页面展示的性能
----缓存区
说简单点儿,类似于批量处理,减少处理次数,毕竟处理次数又是也是io操作,会影响效率
缓存分类:
1、静态缓存 2、分布式缓存 3、热点本地缓存
1、静态缓存- html 缓存到nginx服务器上, 这样访问页面会优先访问web服务器的静态页面
2、memcached, redis 等
3、遇到热点数据时,需要进行本地缓存,阻挡热点查询对于分布式缓存节点或者数据库等压力,比如明星微博,热点话题之类的,hashmap, guava cache , ehcache
待续 ~