redis研究记录

redis研究记录

1 概述
目前多数的NoSql数据库本质上都是键值对形式，Redis也不例外。作为缓存数据库的一种，和Memcached相比，有以下几种主要的优点：
(1)速度上，Redis要比Memcached快，这是基于一些Benchmarks的测试结果得出的，而且在内存使用上，Redis突破了物理内存限制，可以使用虚拟内存；
(2)数据类型比Memcached要多，Redis支持List、Set、SortedSet、HashMap等多种数据结构；
(3)持久化方面，Memcached没有相应的持久化机制，而Redis有RDB快照和AOF日志两种形式结合做持久化，很大限度上保证了数据的持久化和安全性，不像Memcached断电后全都没了。
Redis不失为Memcached的一种良好的替代方案。

MongoDB是一种适合做格式化文档的存储及查询的NoSql数据库，它可以可以用来做海量数据存储，毕竟是一种硬盘数据库，和Redis这种缓存数据库没什么可比性。网上那么多讨论的，这里就不说了，见参考文档1。

Redis也可以在硬盘上存储数据以及跨节点复制数据，也可以用来做队列系统，据说GitHub就采用Redis作为其基础架构。

菜鸟教程：
https://www.runoob.com/redis/redis-conf.html

2.安装部署：
官方文档：http://redis.io/topics/cluster-tutorial。
Redis运维工具和部署工具：https://github.com/eyjian/redis-tools。

Redis-4.0.11集群配置过程：
https://cloud.tencent.com/developer/article/1350787

redis.conf为从https://raw.githubusercontent.com/antirez/redis/3.0/redis.conf下载的配置文件。redis-6379.conf和redis-6380.conf指定了服务端口，两者均通过include复用（包含）了redis.conf。
将redis安装在/data/redis（每台机器完全相同，同一台机器上的多个节点对应相同的目录和文件，并建议将bin目录加入到环境变量PATH中，以简化后续的使用）：

Centos安装部署
安装步骤如下：
(1)将redis-2.8.6.tar.gz安装包拷贝到我们的指定目录下；
(2)使用命令tar -zxvf redis-2.8.6.tar.gz将tar包解压缩，得到redis-2.8.6目录；
(3)进入redis-2.8.6目录，执行make命令进行编译；
(4)编译结束之后，配置redis.conf文件，将“daemonize”属性设置为“yes”，表示我们会以后台进程形式启动Redis服务；将“port”属性设置为指定的端口，这里默认为“6379”；将“logfile”属性设置为指定的日志路径，其余的属性可以保持默认。
(5)使用命令src/redis-server ./redis.conf启动Redis服务，启动之后，可以在刚才配置的日志路径中看到如下类似信息：
这个帅气的图标就是Redis的LOGO了。

windows的话，直接是：redis-server.exe redis.windows.conf 就能启动
(6)执行客户端命令，验证服务是否正常：
(7)Redis服务停止命令，src/redis-cli shutdown

2.2 conf配置文件说明
redis常用配置参数详解
Redis 支持很多的参数，但都有默认值。

daemonize
默认情况下， redis 不是在后台运行的，如果需要在后台运行，把该项的值更改为 yes。

pidfile
当 Redis 在后台运行的时候， Redis 默认会把 pid 文件放在/var/run/redis.pid，你可以配
置到其他地址。当运行多个 redis 服务时，需要指定不同的 pid 文件和端口

bind
指定 Redis 只接收来自于该 IP 地址的请求，如果不进行设置，那么将处理所有请求，在
生产环境中最好设置该项

port
监听端口，默认为 6379

timeout
设置客户端连接时的超时时间，单位为秒。当客户端在这段时间内没有发出任何指令，
那么关闭该连接

loglevel
log 等级分为 4 级， debug, verbose, notice, 和 warning。生产环境下一般开启 notice

logfile
配置 log 文件地址，默认使用标准输出，即打印在命令行终端的窗口上

databases
设置数据库的个数，可以使用 SELECT <dbid>命令来切换数据库。默认使用的数据库是 0

save
设置 Redis 进行数据库镜像的频率。
if(在 60 秒之内有 10000 个 keys 发生变化时){
进行镜像备份
}else if(在 300 秒之内有 10 个 keys 发生了变化){
进行镜像备份
}else if(在 900 秒之内有 1 个 keys 发生了变化){
进行镜像备份
}

rdbcompression
在进行镜像备份时，是否进行压缩

dbfilename
镜像备份文件的文件名

dir
数据库镜像备份的文件放置的路径。这里的路径跟文件名要分开配置是因为 Redis 在进行备份时，先会将当前数据库的状态写入到一个临时文件中，等备份完成时，再把该该
临时文件替换为上面所指定的文件，而这里的临时文件和上面所配置的备份文件都会放
在这个指定的路径当中

slaveof
设置该数据库为其他数据库的从数据库

masterauth
当主数据库连接需要密码验证时，在这里指定

requirepass
设置客户端连接后进行任何其他指定前需要使用的密码。警告：因为 redis 速度相当快，
所以在一台比较好的服务器下，一个外部的用户可以在一秒钟进行 150K 次的密码尝试，
这意味着你需要指定非常非常强大的密码来防止暴力破解。

maxclients
限制同时连接的客户数量。当连接数超过这个值时， redis 将不再接收其他连接请求，
客户端尝试连接时将收到 error 信息。

maxmemory
设置 redis 能够使用的最大内存。当内存满了的时候，如果还接收到 set 命令， redis 将
先尝试剔除设置过 expire 信息的 key，而不管该 key 的过期时间还没有到达。在删除时，
将按照过期时间进行删除，最早将要被过期的 key 将最先被删除。如果带有 expire 信息
的 key 都删光了，那么将返回错误。这样， redis 将不再接收写请求，只接收 get 请求。
maxmemory 的设置比较适合于把 redis 当作于类似 memcached 的缓存来使用。

appendonly
默认情况下， redis 会在后台异步的把数据库镜像备份到磁盘，但是该备份是非常耗时
的，而且备份也不能很频繁，如果发生诸如拉闸限电、拔插头等状况，那么将造成比较
大范围的数据丢失。所以 redis 提供了另外一种更加高效的数据库备份及灾难恢复方式。
开启 append only 模式之后， redis 会把所接收到的每一次写操作请求都追加到
appendonly.aof 文件中，当 redis 重新启动时，会从该文件恢复出之前的状态。但是这样
会造成 appendonly.aof 文件过大，所以 redis 还支持了 BGREWRITEAOF 指令，对
appendonly.aof 进行重新整理。所以我认为推荐生产环境下的做法为关闭镜像，开启
appendonly.aof，同时可以选择在访问较少的时间每天对 appendonly.aof 进行重写一次。

appendfsync
设置对 appendonly.aof 文件进行同步的频率。 always 表示每次有写操作都进行同步，
everysec 表示对写操作进行累积，每秒同步一次。这个需要根据实际业务场景进行配置

vm-enabled
是否开启虚拟内存支持。因为 redis 是一个内存数据库，而且当内存满的时候，无法接
收新的写请求，所以在 redis 2.0 中，提供了虚拟内存的支持。但是需要注意的是， redis
中，所有的 key 都会放在内存中，在内存不够时，只会把 value 值放入交换区。这样保
证了虽然使用虚拟内存，但性能基本不受影响，同时，你需要注意的是你要把
vm-max-memory 设置到足够来放下你的所有的 key

vm-swap-file
设置虚拟内存的交换文件路径

vm-max-memory
这里设置开启虚拟内存之后， redis 将使用的最大物理内存的大小。默认为 0， redis 将
把他所有的能放到交换文件的都放到交换文件中，以尽量少的使用物理内存。在生产环
境下，需要根据实际情况设置该值，最好不要使用默认的 0

vm-page-size
设置虚拟内存的页大小，如果你的 value 值比较大，比如说你要在 value 中放置博客、
新闻之类的所有文章内容，就设大一点，如果要放置的都是很小的内容，那就设小一点。

vm-pages
设置交换文件的总的 page 数量， 需要注意的是， page table 信息会放在物理内存中，每
8 个 page 就会占据 RAM 中的 1 个 byte。总的虚拟内存大小 ＝ vm-page-size * vm-pages

vm-max-threads
设置 VM IO 同时使用的线程数量。因为在进行内存交换时，对数据有编码和解码的过
程，所以尽管 IO 设备在硬件上本上不能支持很多的并发读写，但是还是如果你所保存
的 vlaue 值比较大，将该值设大一些，还是能够提升性能的

glueoutputbuf
把小的输出缓存放在一起，以便能够在一个 TCP packet 中为客户端发送多个响应，具体
原理和真实效果我不是很清楚。所以根据注释，你不是很确定的时候就设置成 yes

hash-max-zipmap-entries
在 redis 2.0 中引入了 hash 数据结构。当 hash 中包含超过指定元素个数并且最大的元素
没有超过临界时， hash 将以一种特殊的编码方式（大大减少内存使用）来存储，这里
可以设置这两个临界值

activerehashing
开启之后， redis 将在每 100 毫秒时使用 1 毫秒的 CPU 时间来对 redis 的 hash 表进行重新 hash，可以降低内存的使用。当你的使用场景中，有非常严格的实时性需要，不能
够接受 Redis 时不时的对请求有 2 毫秒的延迟的话，把这项配置为 no。如果没有这么严
格的实时性要求，可以设置为 yes，以便能够尽可能快的释放内存

3 基本原理
Redis是C编写的，对外开放的List、Set、SortedSet等数据结构都有着自己独到的实现和算法，其内部的实现原理见参考4，这里就不卖弄了，我也在学习。

需求推动技术的进步，Redis可以应用在如下几种场景中：
(1)取最新N个数据操作
(2)排行榜操作，Top N
(3)需要精准设定过期时间的应用
(4)计数器应用
(5)获取某段时间内所有数据的排重值，uniq操作
(6)实时系统
(7)发布/订阅系统
(8)队列系统
(9)缓存
具体的场景分析见参考9。

4 客户端操作
使用src/redis-cli可以打开客户端对话框，输入命令即可。目前Redis支持String、Map、List、Set、SortedSets等五种数据结构以及支持订阅、事务等操作。每种命令的操作及详细解释见参考8。

redis和memecache的区别
linux /etc/crontab 和 /var/spool/cron区别

5 redis参数如何配置
redis数据库的使用，关键一步是对redis进行合理的参数配置，redis的配置文件都在安装目录下的redis.conf文件中进行相关参数配置。

redis参数的配置可以通过config get命令来获取redis参数配置的信息，通过config set 命令来设置相关参数。例如：
通过config get命令获取redis的loglevel级别，然后把级别设置为notice级别，具体代码如下：

config get loglevel;config set loglevel "notice"
通过上面的config命令，我们了解了如何进行redis的参数配置，但是redis中有哪些我们经常要用到的参数呢？下面给大家罗列一下。

redis常用的一些配置信息：
1、port：6379，指定访问redis服务端的端口。
2、bind：127.0.0.1，指定redis绑定的主机地址。
3、timeout：指定客户端连接redis服务器时，当闲置的时间为多少（如300）时，关闭连接。
4、loglevel：指定redis数据库的日志级别，常用的日志级别有debug、verbose、notice、warning，不进行修改的情况下默认的是notice;
5、save <s><c>:指定redis数据库多长时间内（s）有多少次（c）更新操作时就把缓存中的数据同步到本地库，比如：save 600 2，指的是10分钟内有2次更新操作，就同步到本地库。
6、dir :指定redis本地数据文件存放的目录。
7、requirepass：指定redis的访问密码。
8、maxmemory：指定redis的最大内存。由于Redis 在启动时会把数据加载到内存中，当数据达到最大内存时，redis会自动把已经到期和即将到期的key值。所以可以根据需求调整自己的所需的最大内存。
9、appendonly ：指定redis是否开启日志记录功能。由于redis是利用什么save命令异步的方式更新数据到本地库，所以不开启日志记录功能，可能会导致在出现生产事故时，导致部分数据未更新到本地库。
10、vw-enabled：指定redis是否启用虚拟内存机制，vw的机制是将数据进行分页，把不经常使用（即访问量较少的）的页swap到磁盘当中，把访问较多的数据，从磁盘自动转换到内存当中。
以上10点redis命令配置是redis在开发过程中经常要用到的相关配置，大家可以根据自己的需求做相应的调整。

6.生产环境redis配置
--------这里是每个文件的自己的配置---------
#包含通用配置
include /home/public/redis-sdp/redis-common.conf
#监听tcp端口
port 7000
#最大可用内存
#达到最大内存后，Redis会先尝试清除已到期或即将到期的Key
#当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，
#会把Key存放内存，Value会存放在swap区
maxmemory 3000m
#内存耗尽时采用的淘汰策略:
# volatile-lru -> remove the key with an expire set using an LRU algorithm
# allkeys-lru -> remove any key accordingly to the LRU algorithm
# volatile-random -> remove a random key with an expire set
# allkeys-random -> remove a random key, any key
# volatile-ttl -> remove the key with the nearest expire time (minor TTL)
# noeviction -> don't expire at all, just return an error on write operations
maxmemory-policy allkeys-lru
#aof存储文件
appendfilename "appendonly-7000.aof"
#rdb文件,只用于动态添加slave过程
dbfilename dump-7000.rdb
#cluster配置文件(启动自动生成)
cluster-config-file nodes-7000.conf
#部署在同一机器的redis实例，把<span style="font-size: 1em; line-height: 1.5;">auto-aof-rewrite搓开，防止瞬间fork所有redis进程做rewrite,占用大量内存</span>
#aof自动重写配置，当目前aof文件大小超过上一次重写的aof文件大小的百分之多少进行重写，
#即当aof文件增长到一定大小的时候，Redis能够调用bgrewriteaof对日志文件进行重写。
#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍（设置为100）时，自动启动新的日志重写过程。
auto-aof-rewrite-percentage 80-100

这里是redis-common.conf的
#GENERAL
daemonize yes
#TCP监听的最大容纳数量，在高并发的环境下，你需要把这个值调高以避免客户端连接缓慢的问题。Linux 内核会把这个值缩小成 /proc/sys/net/core/somaxconn对应的值，要提升并发量需要修改这两个值才能达到目的
tcp-backlog 511
#客户端空闲多少秒之后直接关闭，为0的不管
timeout 0
#单位是秒，表示将周期性的使用SO_KEEPALIVE检测客户端是否还处于健康状态，避免服务器一直阻塞，官方给出的建议值是300s，如果设置为0，则不会周期性的检测
tcp-keepalive 0
#日志级别，有debug(适合开发、测试阶段，日志信息较多)、verbose(相对于debug日志量减少)、notice(适用于生产)、warning(仅有部分重要关键信息才会记录)
loglevel notice
#redis数据看熟练
databases 16
#redis的快照文件的存放路径
dir /home/public/redis-sdp/redis-data
#当slave于master失去连接，或者复制正在进行时，是否对外提供服务
#yes，表示仍然提供服务，但是返回的数据可能是老数据或者是空(第一次同步的时候)
#no， 除了执行info he slaveof这个命令，其他命令一律返回"SYNC with master in progress" 的错误
slave-serve-stale-data yes
#slave只读
slave-read-only yes
#not use default
#同步之后是否禁用从站上的TCP_NODELAY
#如果你选择yes，redis会使用较少量的TCP包和带宽向从站发送数据。但这会导致在从站增加一点数据的延时。
#Linux内核默认配置情况下最多40毫秒的延时。
#如果选择no，从站的数据延时不会那么多，但备份需要的带宽相对较多。
#默认情况下我们将潜在因素优化，但在高负载情况下或者在主从站都跳的情况下，把它切换为yes是个好主意。
repl-disable-tcp-nodelay yes
#从站优先级是可以从redis的INFO命令输出中查到的一个整数。当主站不能正常工作时
#redis sentinel使用它来选择一个从站并将它提升为主站。
#低优先级的从站被认为更适合于提升，因此如果有三个从站优先级分别是10，
#100，25，sentinel会选择优先级为10的从站，因为它的优先级最低。
#然而优先级值为0的从站不能执行主站的角色，因此优先级为0的从站永远不会被redis sentinel提升。
#默认优先级是100
slave-priority 100
#打开aof持久化
appendonly yes
#每秒一次aof写
appendfsync everysec
#关闭在aof rewrite的时候对新的写操作进行fsync
#在aof重写或者写入rdb文件的时候，会执行大量IO，此时对于everysec和always的aof模式来说，
#执行fsync会造成阻塞过长时间，no-appendfsync-on-rewrite字段设置为默认设置为no。
#如果对延迟要求很高的应用，这个字段可以设置为yes，否则还是设置为no，这样对持久化特性来说这是更安全的选择。
#设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入，默认为no，建议yes。
#Linux的默认fsync策略是30秒。可能丢失30秒数据。
no-appendfsync-on-rewrite yes
#设置允许重写的最小aof文件大小，避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
#打开redis集群
cluster-enabled yes
#节点互连超时的阀值
cluster-node-timeout 15000
#master的slave数量大于该值，slave才能迁移到其他孤立master上，如这个参数若被设为2，
#那么只有当一个主节点拥有2 个可工作的从节点时，它的一个从节点会尝试迁移。
cluster-migration-barrier 1
#slog log是用来记录redis运行中执行比较慢的命令耗时。
#当命令的执行超过了指定时间，就记录在slow log中，slog log保存在内存中，所以没有IO操作。
#执行时间比slowlog-log-slower-than大的请求记录到slowlog里面，单位是微秒，所以1000000就是1秒。
#注意，负数时间会禁用慢查询日志，而0则会强制记录所有命令。
slowlog-log-slower-than 10000
#慢查询日志长度。当一个新的命令被写进日志的时候，最老的那个记录会被删掉，这个长度没有限制。
#只要有足够的内存就行，你可以通过 SLOWLOG RESET 来释放内存
slowlog-max-len 128
#键空间通知使得客户端可以通过订阅频道或模式，来接收那些以某种方式改动了 Redis 数据集的事件。因为开启键空间通知功能需要消耗一些 CPU ，所以在默认配置下，该功能处于关闭状态。
#notify-keyspace-events 的参数可以是以下字符的任意组合，它指定了服务器该发送哪些类型的通知：
#K 键空间通知，所有通知以 __keyspace@__ 为前缀
#E 键事件通知，所有通知以 __keyevent@__ 为前缀
#g DEL 、 EXPIRE 、 RENAME 等类型无关的通用命令的通知
#$ 字符串命令的通知
#l 列表命令的通知
#s 集合命令的通知
#h 哈希命令的通知
#z 有序集合命令的通知
#x 过期事件：每当有过期键被删除时发送
#e 驱逐(evict)事件：每当有键因为 maxmemory 政策而被删除时发送
#A 参数 g$lshzxe 的别名
#输入的参数中至少要有一个 K 或者 E，否则的话，不管其余的参数是什么，都不会有任何 通知被分发
notify-keyspace-events ""
#hash类型的数据结构在编码上可以使用ziplist和hashtable。
#ziplist的特点就是文件存储(以及内存存储)所需的空间较小,在内容较小时,性能和hashtable几乎一样。
#因此redis对hash类型默认采取ziplist。如果hash中条目的条目个数或者value长度达到阀值,将会被重构为hashtable。
#这个参数指的是ziplist中允许存储的最大条目个数，，默认为512，建议为128
hash-max-ziplist-entries 512
#ziplist中允许条目value值最大字节数，默认为64，建议为1024
hash-max-ziplist-value 64
#当取正值的时候，表示按照数据项个数来限定每个quicklist节点上的ziplist长度。比如，当这个参数配置成5的时候，表示每个quicklist节点的ziplist最多包含5个数据项。
#当取负值的时候，表示按照占用字节数来限定每个quicklist节点上的ziplist长度。这时，它只能取-1到-5这五个值，每个值含义如下：
#-5: 每个quicklist节点上的ziplist大小不能超过64 Kb。（注：1kb => 1024 bytes）
#-4: 每个quicklist节点上的ziplist大小不能超过32 Kb。
#-3: 每个quicklist节点上的ziplist大小不能超过16 Kb。
#-2: 每个quicklist节点上的ziplist大小不能超过8 Kb。（-2是Redis给出的默认值）
#-1: 每个quicklist节点上的ziplist大小不能超过4 Kb。
list-max-ziplist-entries 512
#list允许的最大的value值，如果超出不适用ziplist编码
list-max-ziplist-value 64
#数据量小于等于set-max-intset-entries用intset，大于set-max-intset-entries用set
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64

#Redis将在每100毫秒时使用1毫秒的CPU时间来对redis的hash表进行重新hash，可以降低内存的使用。
#当你的使用场景中，有非常严格的实时性需要，不能够接受Redis时不时的对请求有2毫秒的延迟的话，把这项配置为no。
#如果没有这么严格的实时性要求，可以设置为yes，以便能够尽可能快的释放内存
activerehashing yes

#对客户端输出缓冲进行限制可以强迫那些不从服务器读取数据的客户端断开连接，用来强制关闭传输缓慢的客户端。
#对于normal client，第一个0表示取消hard limit，第二个0和第三个0表示取消soft limit，normal client默认取消限制，因为如果没有寻问，他们是不会接收数据的
client-output-buffer-limit normal 0 0 0
#对于slave client和MONITER client，如果client-output-buffer一旦超过256mb，又或者超过64mb持续60秒，那么服务器就会立即断开客户端连接。
client-output-buffer-limit slave 256mb 64mb 60
#对于pubsub client，如果client-output-buffer一旦超过32mb，又或者超过8mb持续60秒，那么服务器就会立即断开客户端连接。
client-output-buffer-limit pubsub 32mb 8mb 60
#redis执行任务的频率为1s除以hz
hz 10
#在aof重写的时候，如果打开了aof-rewrite-incremental-fsync开关，系统会每32MB执行一次fsync。
#这对于把文件写入磁盘是有帮助的，可以避免过大的延迟峰值
aof-rewrite-incremental-fsync yes