• centos下部署redis服务环境及其配置说明


    Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。
    redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、 list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原 子性的。在此基础上,redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中区别的是redis会周期性的 把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。

    先简单说说redi和mysql的一些区别:

    redis和mysql要根据具体业务场景去选型
       
    mysql:数据放在磁盘   redis:数据放在内存
    redis适合放一些频繁使用,比较热的数据,因为是放在内存中,读写速度都非常快
    
    首先要知道mysql存储在磁盘里,redis存储在内存里,redis既可以用来做持久存储,也可以做缓存,而目前大多数公司的存储都是mysql + redis,其中:
    mysql作为主存储,redis作为辅助存储被用作缓存,加快访问读取的速度,提高性能。
    
    那么为什么不直接全部用redis存储呢?
    因为redis存储在内存中,如果存储在内存中,存储容量肯定要比磁盘少很多,那么要存储大量数据,只能花更多的钱去购买内存,造成在一些不需要高性能的地方是相对比较浪费的,所以目前基本都是mysql(主) + redis(辅),在需要性能的地方使用redis,在不需要高性能的地方使用mysql,好钢用在刀刃上
    1)mysql支持sql查询,可以实现一些关联的查询以及统计;
    2)redis对内存要求比较高,在有限的条件下不能把所有数据都放在redis;
    3)mysql偏向于存数据,redis偏向于快速取数据,但redis查询复杂的表关系时不如mysql,所以可以把热门的数据放redis,mysql存基本数据

    下面记录下redis服务安装过程:
    安装依赖软件
    [root@dev src]# yum install gcc-c++ tcl

    下载并安装redis(百度云盘下载地址:https://pan.baidu.com/s/1bAxZzC    提取密码:ngsc)(redis官网下载最新版:https://redis.io/
    [root@dev src]# wget http://download.redis.io/redis-stable.tar.gz
    [root@dev src]# tar xvzf redis-stable.tar.gz
    [root@dev src]# cd redis-stable
    [root@dev redis-stable]# make
    --------------------------------------------------------------------------
    如果编译安装过程中,出现报错:
    zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory

    原因:一些编译依赖或原来编译遗留出现的问题
    解决方案:make distclean。清理一下,然后再make。
    -------------------------------------------------------------------------

    在make成功以后,会在src目录下多出一些可执行文件:redis-server,redis-cli等等。
    [root@dev redis-stable]# cd ./src
    [root@dev src]# cp redis-server redis-cli redis-check-aof redis-check-rdb redis-sentinel redis-trib.rb /usr/local/bin/

    然后新建目录,存放配置文件
    [root@dev src]# mkdir /etc/redis
    [root@dev src]# mkdir /var/redis
    [root@dev src]# mkdir /var/redis/log
    [root@dev src]# mkdir /var/redis/run
    [root@dev src]# mkdir /var/redis/redis

    在redis解压根目录中找到配置文件模板,复制到如下位置。
    [root@dev src]# cd ../
    [root@dev redis-stable]# cp redis.conf /etc/redis/redis.conf

    修改redis.conf配置文件
    [root@dev redis-stable]# vim /etc/redis/redis.conf
    .......
    port 6379
    .......
    daemonize yes
    .......
    pidfile /var/redis/run/redis_6379.pid
    .......
    logfile /var/redis/log/redis_6379.log
    .......
    dir /var/redis/redis                  //工作目录,dump文件所在目录

    ---------------------------------------------------------------------------------------------------------------------------------
    redis默认的持久化方式是RDB,数据写入到dump文件中。如果要启用AOF持久化,就在redis.conf文件中配置如下:
    appendonly yes         #启用AOF持久化方式
    appendfilename "appendonly.aof"       #AOF文件的名称,默认为appendonly.aof
    # appendfsync always        #每次收到写命令就立即强制写入磁盘,是最有保证的完全的持久化,但速度也是最慢的,一般不推荐使用。
    appendfsync everysec        #每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,是受推荐的方式。
    # appendfsync no         #完全依赖OS的写入,一般为30秒左右一次,性能最好但是持久化最没有保证,不被推荐。
    ---------------------------------------------------------------------------------------------------------------------------------

    启动redis服务
    [root@dev redis-stable]# redis-server /etc/redis/redis.conf
    [root@dev redis-stable]# ps -ef|grep redis
    root 3795 1 0 15:33 ? 00:00:00 redis-server 127.0.0.1:6379
    root 3799 31415 0 15:33 pts/1 00:00:00 grep --color redis
    [root@dev redis-stable]# lsof -i:6379
    COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
    redis-ser 3795 root 4u IPv4 58627495 0t0 TCP localhost:6379 (LISTEN)

    设置开机启动
    [root@dev ~]# echo "/usr/local/bin/redis-server /etc/redis/redis.conf" >> /etc/rc.local

    关闭redis服务
    [root@dev ~]# redis-cli shutdown //默认是6379端口
    如果端口变化可以指定端口
    [root@dev ~]# redis-cli -p 6379 shutdown

    ------------------------------------------------------------------------------------------------------------
    还可以通过如下方法,设置redis服务启动脚本及开机自启动
    将redis解压包下utils下redis启动脚本redis_init_script拷贝至/etc/init.d/,并修改脚本名称(也可不修改)为redis
    [root@dev ~]# cp /usr/local/src/redis-stable/utils/redis_init_script /etc/init.d/redis
    [root@dev ~]# chmod +x /etc/init.d/redis

    修改脚本pid及conf路径为实际路径
    [root@dev ~]# vim /etc/init.d/redis
    ......
    REDISPORT=6379
    EXEC=/usr/local/bin/redis-server
    CLIEXEC=/usr/local/bin/redis-cli

    PIDFILE=/var/redis/run/redis_6379.pid
    CONF="/etc/redis/redis.conf"
    ......

    这样,就可以直接用下面的命令关闭和启动redis服务了
    [root@dev ~]# /etc/init.d/redis stop
    Stopping ...
    Redis stopped
    [root@dev ~]# lsof -i:6379
    [root@dev ~]# /etc/init.d/redis start
    Starting Redis server...
    [root@dev ~]# lsof -i:6379
    COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
    redis-ser 9372 root 4u IPv4 58648940 0t0 TCP localhost:6379 (LISTEN)

    设置自启动
    [root@dev ~]# chkconfig redis on
    redis 服务不支持 chkconfig

    这是因为没有在启动脚本/etc/init.d/redis里加入redis启动优先级信息,可添加如下红色字体的两行:
    [root@dev ~]# vim /etc/init.d/redis
    #!/bin/sh
    #
    # chkconfig: 2345 90 10                                                     //注意:后面的英文空格
    # description: Redis is a persistent key-value database          //注意:后面的英文空格

    # Simple Redis init.d script conceived to work on Linux systems
    # as it does use of the /proc filesystem.
    REDISPORT=6379
    EXEC=/usr/local/bin/redis-server
    CLIEXEC=/usr/local/bin/redis-cli

    PIDFILE=/var/redis/run/redis_6379.pid
    CONF="/etc/redis/redis.conf"
    .......

    [root@dev ~]# chkconfig redis on
    [root@dev ~]# chkconfig --list|grep redis
    redis 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
    ------------------------------------------------------------------------------------------------------------

    初始化Redis的密码
    有以下2个步骤:
    1)在配置文件中有个参数: requirepass 这个就是配置redis访问密码的参数。
    比如 requirepass test123
    2)配置文件中参数生效需要重启重启redis 。
    重启redis服务后,发现使用redis-cli -p 6379的无密码方式仍能登录redis,只是登录进去后不能做任何操作。
    需要用密码登录redis-cli -p 6379 -a test123后,才能正常操作

    那么不重启redis的情况下如何配置密码?
    1)在配置文件中配置requirepass的密码(当redis重启时密码依然有效)。
    # requirepass foobared
    比如修改成:
    requirepass test123
    2)进入redis重定义参数
    查看当前的密码:
    [root@slaver251 redis-2.4.16]# redis-cli -p 6379
    redis 127.0.0.1:6379>
    redis 127.0.0.1:6379> config get requirepass
    1) "requirepass"
    2) ""
    127.0.0.1:6379>
    显示密码是空的,
    然后设置密码:
    redis 127.0.0.1:6379> config set requirepass test123
    OK
    再次查询密码:
    redis 127.0.0.1:6379> config get requirepass
    (error) ERR operation not permitted
    此时报错了!
    现在只需要密码认证就可以了。
    redis 127.0.0.1:6379> auth test123
    OK
    再次查询密码:
    redis 127.0.0.1:6379> config get requirepass
    1) "requirepass"
    2) "test123"
    密码已经得到修改。
    当到了可以重启redis的时候,由于配置参数已经修改,所以密码会自动生效。
    要是配置参数没添加密码,那么redis重启,密码将相当于没有设置。
    ==================================================================================

    masterauth是当master节点设置了密码保护时,slave节点连接master节点的密码这个是在slave节点配置的
    1)如果master节点不设置密码(即不设置requirepass密码),那么slave节点在配置同步的时候,只需配置:
    #slaveof master的ip 端口
    slaveof 192.168.1.150 6379 
    2)如果master节点配置了requirepass密码,那么slave就需要配置masterauth密码来连接master。特别注意: 如果要设置密码的话,masterauth和requirepass都要设置,否则主从切换时,会有授权问题! (并且两者密码要设置一样)
    比如:
    master 节点配置: 

         port 6379
         requirepass redis                                       # master节点只需要设置这一个密码

    slave1 节点配置:
        port 6479
        slaveof 192.168.1.150 6379
        masterauth redis        # 注意,这个是连接master节点,同步数据用的密码.  slave节点需要设置这两个密码
        requirepass redis       # 这个是slave节点上登录自己的redis用的密码

    =================================================================================
    除了在配置文件里设置redis密码,也可以直接在命令行里设置密码:

    1)设置有密码
    [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set masterauth "redis123"
    [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207  -p 6379 config set requirepass "redis123"
    OK
    [root@redis-node01 ~]# 
    
    2)登录
    [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 p 7000 -a "redis123"
    192.168.10.207:7000> 
    
    或者
    [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
    192.168.10.207:7000> auth redis123
    OK
    192.168.10.207:7000> 
    
    3)再次设置无密码
    [root@redis-node01 ~]# /data/redis-4.0.6/src/redis-cli -h 192.168.10.207 -c -p 7000 
    192.168.10.207:7000> auth redis123
    OK 
    192.168.10.207:7000> config set masterauth ""
    OK
    192.168.10.207:7000> config set requirepass ""
    OK
    192.168.10.207:7000> 

    slave端的相关配置
    slave-read-only yes     #从2.6版本开始支持只读的slave,默认是yes的
    masterauth <master-password> #如果master配置了requirepass设置密码,slave需要配置连接master的密码
    slave-serve-stale-data yes    #当slave与master断开或者复制正在进行的时候是否继续提供服务,默认是yes继续服务,可以配置为no返回错误提示“SYNC with master in progress”(除了INFO和SLAVEOF命令)
    repl-ping-slave-period 10 #slave发送心跳的间隔时间,默认是10秒

    master端的相关配置
    repl-diskless-sync no     #是否使用无盘复制 Diskless replication,默认是no
    repl-diskless-sync-delay 5   #无盘复制延时开始秒数,默认是5秒,意思是当PSYNC触发的时候,master延时多少秒开始向master传送数据流,以便等待更多的slave连接可以同时传送数据流,因为一旦PSYNC开始后,如果有新的slave连接master,只能等待下次PSYNC。可以配置为0取消等待,立即开始
    repl-backlog-size 1mb   #复制流的内存缓冲区大小,用于增量同步,当master-slave断开的时候,master保存在复制流内存缓冲区的数据大小限制,默认是1mb。如果至少有1个slave连接的话,就会释放
    repl-backlog-ttl 3600   #复制流的内存缓冲区过时时间,默认3600秒,就是说无论保存在复制流内存缓冲区的数据大小是否超过限制,当master-slave断开超过上述时间就会释放
    min-slaves-to-write 3    #从2.8版本开始,可以配置与master连接的slave的最少数量,默认是0没有限制,如果配置>0,需要结合下面的选项一起使用,只有同时满足这2个选项,master才能接收写操作
    min-slaves-max-lag 10 #允许master-slave的心跳最大间隔,默认是10秒,需要结合min-slaves-to-write选项一起使用

    复制+持久化的数据完整性考虑
    如果master配置了slave,那么强烈建议master启用持久化。因为当master重启的时候,如果没有启用持久化,数据会全部丢失,而且当slave重新连接master的时候,slave原有的数据也会被清空。如果真的要配置不启用持久化,最好不要设置自动启动master,除非数据全部丢失对你来说不重要。

    ======================================================================
    当redis服务日志出现下面报错:

    34145] 01 Jan 17:42:02 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue 
    add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' 
    
    原因分析:
    redis在dump数据的时候,会fork出一个子进程,理论上child进程所占用的内存和parent是一样的,比如parent占用的内存为8G,这个时候也要同样分配8G的内存给
    hild,如果内存无法负担,往往会造成redis服务器的down机或者IO负载过高,效率下降。所以这里比较优化的内存分配策略应该设置为 1(表示内核允许分配所有的物理内存,
    而不管当前的内存状态如何)。
    
    overcommit_memory参数说明: 
    设置内存分配策略(可选,根据服务器的实际情况进行设置) /proc/sys/vm/overcommit_memory 可选值:0、1、2。 
    0:表示内核将检查是否有足够的可用内存供应用进程使用;如果有足够的可用内存,内存申请允许;否则,内存申请失败,并把错误返回给应用进程。 
    1:表示内核允许分配所有的物理内存,而不管当前的内存状态如何。 
    2:表示内核允许分配超过所有物理内存和交换空间总和的内存。
    
    解决办法:
    # echo 1 > /proc/sys/vm/overcommit_memory
    
    或者
    # vim /etc/sysctl.conf 
    vm.overcommit_memory=1
    # sysctl -p

    下面是对redis.conf文件配置解释:

    1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
        daemonize no
    2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
        pidfile /var/run/redis.pid
    3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
        port 6379
    4. 绑定的主机地址。说明只能redis-cli连接本机redis的时候只能通过这个ip连接。
        bind 127.0.0.1
    5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
        timeout 300
    6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
        loglevel verbose
    7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null
        logfile stdout
    8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
        databases 16
    9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
        save <seconds> <changes>
        Redis默认配置文件中提供了三个条件(打开这三行的上面一行的注释,即 save "" 这个注释去掉就表示关闭snapshot快照功能;):
        save 900 1
        save 300 10
        save 60 10000
        分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。
    10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大
        rdbcompression yes
    11. 指定本地数据库文件名,默认值为dump.rdb
        dbfilename dump.rdb
    12. 指定本地数据库存放目录
        dir ./
    13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
        slaveof <masterip> <masterport>
    14. 当master服务设置了密码保护时,slav服务连接master的密码. 如果要设置密码的话,masterauth和requirepass都要设置,否则主从切换时,会有授权问题! (并且两者密码要设置一样)
        masterauth <master-password>
    15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭
        requirepass foobared  
    16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
        maxclients 128
    17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区
        maxmemory <bytes>
    18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no
        appendonly no
    19. 指定更新日志文件名,默认为appendonly.aof
    appendfilename appendonly.aof
    20. 指定更新日志条件,共有3个可选值: 
        appendfsync no:表示等操作系统进行数据缓存同步到磁盘。完全依赖OS的写入,一般为30秒左右一次,性能最好但是持久化最没有保证,不被推荐。(快) 
        appendfsync always:#每次收到写命令就立即强制写入磁盘,是最有保证的完全的持久化,但速度也是最慢的,一般不推荐使用。(慢,安全) 
        appendfsync everysec:表示每秒同步一次(折中,默认值),每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,这种fsync策略可以兼顾速度和安全性,是受推荐的方式。
        appendfsync everysec
    21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
    vm-enabled no
    22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
    vm-swap-file /tmp/redis.swap
    23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
    vm-max-memory 0
    24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
    vm-page-size 32
    25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。
    vm-pages 134217728
    26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4
    vm-max-threads 4
    27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
        glueoutputbuf yes
    28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
        hash-max-zipmap-entries 64
        hash-max-zipmap-value 512
    29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
        activerehashing yes
    30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件
        include /path/to/local.conf
  • 相关阅读:
    rtmp_specification_1.0
    RTSP Spectification
    FFMPEG 入门
    Spring Cloud Gateway + Spring Oauth 2.0 整合(服务端与资源端分离)
    深入浅出 Spring Cache 使用与整合(附源码解析)
    Java集合之ArrayList源码分析
    SpringBoot+Mybatis+MybatisPlus 入门整合(三)
    SpringBoot+Mybatis+Generator 逆向工程使用(二)
    SpringBoot+Mybatis整合入门(一)
    SpringBoot+SpringData 整合入门
  • 原文地址:https://www.cnblogs.com/kevingrace/p/6265722.html
Copyright © 2020-2023  润新知