1.redis使用过多内存导致其他进程无法正常运行情况:
解决方案:限制redis的最大使用内存,修改redis.conf中的maxmemory(一般不要超过空闲内存的3/5,如果不设置maxmemory或者设置为0,64位系统不限制内存,32位系统最多使用3GB内存。默认是按照过期时间的,如果set时候没有加上过期时间就会导致数据写满maxmemory。)
注意:设置了maxmemory的选项,redis内存使用达到上限后可以通过设置过期策略maxmemory-policy(默认值是noeviction)来清理redis中的数据。
maxmemory-policy的值有以下几种:
- volatile-lru -> 根据LRU算法生成的过期时间来删除。
- allkeys-lru -> 根据LRU算法删除任何key。
- volatile-random -> 根据过期设置来随机删除key。
- allkeys-random -> 无差别随机删。
- volatile-ttl -> 根据最近过期时间来删除(辅以TTL)
- noeviction -> 谁也不删,直接在写操作时返回错误。
比如我的内存是8G的,因为还要运行php-fpm nginx supervisor等一系列软件,最终考虑
maxmemory 3072000
maxmemory-policy volatile-lru
2.出现Can't save in background: fork: Cannot allocate memory这样的写磁盘出错。
Redis数据回写机制:
数据回写分同步和异步两种方式
同步回写(SAVE), 主进程直接向磁盘回写数据. 在数据量大的情况下会导致系统假死很长时间
异步回写(BGSAVE), 主进程fork后, 复制自身并通过这个新的进程回写磁盘, 回写结束后新进程自行关闭.
由于 BGSAVE 不需要主进程阻塞, 系统也不会假死, 一般会采用 BGSAVE 来实现数据回写.
故障分析:
在小内存的进程上做fork, 不需要太多资源. 但当这个进程的内存空间以G为单位时, fork就成为一件很恐怖的操作.
在16G内存的足迹上fork 14G的进程, 系统肯定Cannot allocate memory.
主机的Redis 改动的越频繁 fork进程也越频繁, 所以一直在Cannot allocate memory
解决方案:
修改内核参数 vm.overcommit_memory, Linux内核会根据参数vm.overcommit_memory参数的设置决定是否放行。
vim /etc/sysctl.conf
vm.overcommit_memory = 1
#最好不要设置为0,Linux的OOM机制在内存不足的情况下,会自动选择性Kill进程点数过高的进程,0会中招。
sysctl vm.overcommit_memory=1
0:表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。
1:表示内核允许分配所有的物理内存,而不管当前的内存状态如何。
2:表示内核允许分配超过所有物理内存和交换空间总和的内存
或者:sudo echo 'vm.overcommit_memory = 1' >> /etc/sysctl.conf
运行以下命令使之生效
sudo sysctl -p
3.客户端频繁获取连接限制
可能的错误信息:Cannot assign requested address
频繁地连服务器,但每次连接都在短时间内结束,导致很多的TIME_WAIT,以至于用光端口号,所以新连接没办法绑定端口。修改如下2个内核参数:
sysctl -w net.ipv4.tcp_timestamps=1,开启对于TCP时间戳的支持,若该项设置为0,则下面一项设置不起作用;
sysctl -w net.ipv4.tcp_tw_recycle=1,表示开启TCP连接中TIME-WAIT sockets的快速回收。
4.其他redis.conf参数优化可以参看http://blog.csdn.net/tangpengtao/article/details/45542791 这篇博客,写的挺齐全。