• Redis 学习笔记2:持久化


    1 什么是持久化

    Redis 支持RDB和AOF 两种持久化机制,持久化功能有效地避免因进程退出造成的数据丢失问题。当下次重启时利用之前持久化的数据快照文件即可实现数据恢复。

    配置文件:
    save 100 时间,单位是s,100s内修改1次就会做更新

    1.1 aof

    aof 实时存储:

    1、aof的参数

    • dir 存储路径 /. 表示在哪里启动,文件在哪里生成
    • appendonly:默认no,如果设置为yes,就打开了实时存储
    • appendfilename 存储文件的名字

    1.2 rdb

    rdb 定时存储:

    1、rdb 的参数

    • dir 存储路径 /. 表示在哪里启动,文件在哪里生成
    • rdbdfilename 存储文件的名字

    2、风险:容易丢失数据;避免风险:使用aof 实时存储

    3、如果数据没有那么重要,可以使用rdb。

    2 RDB持久化

    把当前进程数据生成快照保存到硬盘的过程,触发RDB持久化过程分为手动触发和自动触发。

    2.1 RDB 是什么

    RDB在指定的时间间隔内将内存中的数据集快照写入磁盘。

    原理是redis 会单独创建(fork)一个与当前进程一模一样的子进程来进行持久化,这个子进程的所有数据(变量,环境变量,程序计数器等)都和原进程一模一样,会先将数据写入到一个临时文件中,待持久化结束了,再用这个临时文件替换上次持久化好的文件,是一个全量的过程。

    整个过程,主进程不进行任何的io操作,这就确保了极高的性能。

    问题1:这个持久化文件在哪里?
    rdb有两个参数:

    • dir 存储路径 /. 表示在哪里启动,文件在哪里生成
    • rdbdfilename 存储文件的名字

    问题2:它什么时候fork子进程,或者什么时候触发rdb持久化机制?

    1. shutdown时,如果没有开启aof,会触发。
    2. 配置文件中默认的快照配置 :
    • save 900 1 900秒内执行1次增删改 就会触发rdb
    • save 300 10 300秒内执行10次增删改 就会触发rdb
    • save 60 10000 60秒内执行10000次增删改 就会触发rdb
    • 如果是集群的话,master就会把这些关掉(注释掉)
    1. 执行命令 save 或者 bgsave :
    • save只保管,其他不管,全部阻塞;
    • bgsave redis会在后台异步进行快照操作,同时可以响应客户端的请求。
      1.执行flushall命令,但是里面是空的,无意义。(清空16个数据库的数据)

    2.2 手动触发

    手动触发分别对应save和bgsave命令。

    • ·save命令:阻塞当前Redis服务器,直到RDB过程完成为止,对于内存 比较大的实例会造成长时间阻塞,线上环境不建议使用
    • ·bgsave命令:Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只发生在fork阶段,一般时间很短。

    3 AOF持久化

    3.1 aof 是什么

    AOF持久化以日志的形式记录服务器所处理的每一个写、删除操作,查询操作不记录,以文本的方式记录,可以打开文件看到详细的操作记录。是以增量的方式进行持久化,即一点点的进行持久化,不是一下子把所有数据都记录下来。

    原理是将redis的操作日志以追加的方式写入文件,读操作不记录下来。

    如:set k1 1 写到文件,再运行这个文件,所有写操作都做一遍。

    问题1: 这个持久化文件在哪里?
    aof的参数:

    • dir 存储路径 /. 表示在哪里启动,文件在哪里生成
    • appendonly:默认no,如果设置为yes,就打开了实时存储
    • appendfilename 存储文件的名字

    问题2: 触发机制是什么?
    根据配置文件配置项:

    • no:表示等操作系统进行数据缓存同步到磁盘(快,持久化没保证)
    • always:同步持久化,每次发生数据变更时,立即记录到磁盘(慢,安全)
    • everysec:表示每秒同步一次(快,但是可能会丢失1s的数据)

    3.2 appendfile 文件说明:

    *2     说明下面有2组命令,*
    $6     代表长度为6,$
    SELECT
    0      代表数据放入0库
    *3
    $3
    set
    $2
    kk
    $2
    vv
    

    3.3 aof 重写机制

    1. 当AOF文件增长到一定大小的时候,redis能够调用bgrewriteaof对日志文件进行重写。当AOF文件大小的增长率大于该配置项时自动开启重写(这里指超过原大小的100%)。
    auto-aof-rewrite-percentage 100
    
    1. 当AOF文件增加到一定大小的时候,redis能够调用bgrewriteaof对日志文件进行重写。当AOF文件大小大于该配置项时自动开启重写。
    auto-aof-rewrite-min-size 64mb
    

    bgrewriteaof 是重写的命令

    3.4 redis 4.0 后混合持久化机制

    1. 4.0 版本的混合持久化默认关闭,通过 auto-use-rdb-preamble 配置参数控制。
    • yes 表示开启,no 表示禁用。
    1. 5.0 之后默认开启。
      混合持久化是通过 bgrewriteaof 完成的,不同的是当开启混合持久化时,fork出的子进程先将共享的内存副本全量的以RDB方式写入aof文件,然后再将重写缓冲区的增量命令以AOF方式写入到文件,写入完成后通知主进程更新统计信息,并将新的含有RDB格式和AOF格式的AOF文件替换旧的AOF文件。

    简单说:新的AOF文件前半段是RDB格式的全量数据;后半段是AOF格式的增量数据。

    优点:混合持久化结合了RDB持久化和AOF持久化的优点,由于绝大部分都是RDB格式,加载速度快,同时结合AOF。增量的数据以AOF方式保存了,数据更少丢失。

    缺点:兼容性差,一旦开启了混合持久化,在4.0之前版本都不能识别该aof文件,同时由于前部分是RDB格式,阅读性比较差。

    4 AOF和RDB的总结

    1、redis提供了rdb持久化方案,为什么还要aof?

    优化数据丢失问题,rdb会丢失最后一次快照后的数据,aof丢失不会超过2s的数据。

    2、如果aof 和rdb同时存在,听谁的?

    aof

    3、rdb和aof的优劣势

    1 RDB:

    使用RDB好处:

    1. redis 数据库只有这一个文件,方便备份,可以很容易将一个RDB文件移动到其他存储介质上。
    2. RDB恢复大数据集的速度比AOF快。
    3. RDB可以最大化redis的性能:父进程在保存RDB文件时唯一要做的就是 fork 一个子进程,然后这个子进程就会处理接下来的所有保存工作,父进程无需执行任何磁盘 I/O 操作。

    使用RDB坏处:

    1. 需要尽量避免在服务区故障时丢失数据,虽然redis 允许设置不同的save point 来控制保存RDB文件的频率,但是RDB文件需要保存整个数据集的状态,所以它并不是一个轻松的操作。你可能会至少五分钟才保存一次RDB文件,在这种情况下,一旦发生故障停机,就会丢失好几分钟的数据。
    2. 每次保存RDB的时候,Redis都要fork() 出一个子进程,并由子进程来进行实际的持久化工作。在数据集比较庞大地时候,fork()可能会非常耗时,造成服务器在某某毫秒内停止处理客户端;如果数据集非常巨大,并且CPU时间非常紧张,那么这种停止时间甚至可能会长达整整一秒。虽然AOF重写也需要进行 fork() ,但是无论AOF重写的执行间隔有多长,数据的耐久性都不会有任何损失。

    总结RDB:
    rdb适合大规模数据恢复,对数据完整性和一致性不高,在一定间隔时间做一次备份,如果redis意外down机的话,就会丢失最后一次快照后的所有操作。

    2 AOF:

    使用AOF的好处:

    1. 让redis变得非常耐久(nuch nore durable)
      2.AOF文件是一个只进行追加操作的日志文件(append only log),因此对AOF文件的写入不需要进行 seek,即使日志因为某些原因而包含未写入完整的命令(比如写入时磁盘已满,写入中途停机等),redis-check-aof 工具也可以轻易地修复这种问题。
      3.redis 可以在AOF文件体积变得过大时,自动地在后台对AOF进行重写,重写后的新 AOF 文件包含了恢复当前数据集所需要的最小命令集合。重写操作绝对安全。
    2. AOF 文件有序地保存了对数据库执行的所有的写入操作,这些写入操作以 Redis 协议的格式保存,因此 AOF 文件的内容非常容易被人读懂,对文件进行分析也很轻松,导出AOF也很简单。

    使用AOF的坏处:

    1. 对于相同的数据集来说,AOF 文件的体积通常要大于RDB文件的体积
    2. 根据所使用的 fsync 策略,AOF 的速度可能会慢于 RDB。
    3. 在处理巨大的写入载入时,RDB可以提供更有保证的最大延迟时间。

    官方建议:两种方式同时开启,优先使用aof。

    4、性能建议(只针对单机版redis持久化做性能建议):

    1. 因为RDB文件只用作后备用途,只要15min备份一次就够了,只保留 save 900 1 这条规则。
    2. 如果Enable AOF,好处就是在最恶劣情况下也只会丢失不超过2s的数据,启动脚本较简单,只load自己的aof文件就可以了。
    3. 代价一是带来了持续的IO,二是AOF rewrite 的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎不可避免。
    4. 只要硬盘许可,应该尽量减少AOF rewrite 频率,AOF 重写基础可以设到5G以上。
  • 相关阅读:
    部署至Oracle数据库的注意事项
    当在centos上面部署项目时,mysql的一些驱动安装不上,
    drf利用redis做缓存是发生一点错误提示
    python字符串前面加个u代表什么
    在学习数据分析时,安装anaconda时遇到一点问题
    在使用scrapy框架爬取sina时,常见保存
    在linux上scrapyd部署scrapy项目时出现service_identity,并且不能识别其中的一个opentype模块
    如何在mysql增加一个和root权限一样的用户,安排
    mysq的root密码忘记,原来还有更优雅的解法
    mysql远程连接阿里云的Ubuntu服务器
  • 原文地址:https://www.cnblogs.com/hqq2019-10/p/14140181.html
Copyright © 2020-2023  润新知