• MySQL三种日志之binlog/redo log/undo log


       0. MySql的3种日志

        MySQL数据库为什么可以实现主从复制,持久化,回滚的呢?

    其实关键在于MySQL里的三种log,分别是:

    - binlog
    - redo log
    - undo log

    1. 什么是binlog

    binlog是用于记录数据库表结构和表数据变更的二进制日志

    eg:
    insert、update、delete、create、truncate等等操作。
    不会记录select、show操作,因为没有对数据本身发生变更。
    -----------------------------------------------------------------------------------
    binlog会记录下每条变更的sql语句,还有执行开始时间,结束时间,事务id等等信息。

    binlog是通过追加的方式进行写入的,可以通过max_binlog_size参数设置每个binlog文件的大小,
    当文件大小达到给定值之后,会生成新的文件来保存日志。
     
    2. binlog详细介绍

        - 查看binlog是否打开

         使用命令show variables like '%log_bin%'

       - 开启binlog

        找到my.cnf配置文件,增加下面配置(mysql版本5.7.31):
        

    # 打开binlog
    log-bin=mysql-bin
    # 选择ROW(行)模式
    binlog-format=ROW

    修改后,重启mysql,配置生效。

    执行SHOW MASTER STATUS;可以查看当前写入的binlog文件名。

    - binlog使用场景

    主从复制和数据恢复。

    1. 主从复制:
    在Master端开启binlog, 从机订阅binlog日志的信息。
    然后将binlog发送到各个Slave端,Slave端重放binlog从而达到主从数据一致。
    -----------------------------------------------------------------------------------
    2. 数据恢复:
    通过使用mysqlbinlog工具来恢复数据。
    指定--start-position和--stop-position,或者指定--start-datetime和--stop-datetime,那么就可以恢复指定区间的数据。

    binlog主从复制(见下图)

    - binlog刷盘时机

    对于InnoDB存储引擎而言,只有在事务提交时才会记录biglog,此时记录还在内存中。
    mysql通过sync_binlog参数控制biglog的刷盘时机,
    取值范围是0-N:
    
    0:不去强制要求,由系统自行判断何时写入磁盘;
    1:每次commit的时候都要将binlog写入磁盘;
    N:每N个事务,才会将binlog写入磁盘。
    
    从上面可以看出,sync_binlog最安全的是设置是1,这也是MySQL 5.7.7之后版本的默认值。
    但是设置一个大一些的值可以提升数据库性能,
    
    因此实际情况下也可以将值适当调大,牺牲一定的一致性来获取更好的性能。

    - binlog日志格式

    binlog日志有三种格式,分别为STATMENT、ROW和MIXED。

    在 MySQL 5.7.7之前,默认的格式是STATEMENT,
    MySQL 5.7.7之后,默认值是ROW。
    -----------------------------------------------------------------------------------
    日志格式通过binlog-format指定。
    
    STATMENT 
    基于SQL语句的复制(statement-based replication, SBR)。
    
    每一条会修改数据的sql语句会记录到binlog中。
    优点:不需要记录每一行的变化,减少了binlog日志量,节约了IO, 从而提高了性能;
    缺点:在某些情况下会导致主从数据不一致,比如执行sysdate()、slepp()等。
    -----------------------------------------------------------------------------------
    ROW 
    基于行的复制(row-based replication, RBR)。
    
    不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了。
    优点:不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题;
    缺点:会产生大量的日志,尤其是alter table的时候会让日志暴涨
    -----------------------------------------------------------------------------------
    MIXED 
    基于STATMENT和ROW两种模式的混合复制(mixed-based replication, MBR)。
    
    一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog。

    3. redo log

    为什么需要redo log?

    事务的四大特性里面有一个是持久性,具体来说就是只要事务提交成功,那么对数据库做的修改就被永久保存下来了,
    不可能因为任何原因再回到原来的状态。
    那么mysql是如何保证一致性的呢?最简单的做法是在每次事务提交的时候,
    将该事务涉及修改的数据页全部刷新到磁盘中。但是这么做会有严重的性能问题,
    
    主要体现在两个方面:
    1. 因为Innodb是以页为单位进行磁盘交互的,而一个事务很可能只修改一个数据页里面的几个字节,
       这个时候将完整的数据页刷到磁盘的话,太浪费资源了!
    
    2. 一个事务可能涉及修改多个数据页,并且这些数据页在物理上并不连续,使用随机IO写入性能太差!
    
    因此mysql设计了redo log,
    具体来说就是只记录事务对数据页做了哪些修改,
    这样就能完美地解决性能问题了(相对而言文件更小并且是顺序IO)。

    redo log结构(见下图)

    redo log与binlog区别

    4. undo log

    undo log的作用主要用于回滚,mysql数据库的事务的原子性就是通过undo log实现的。

    我们都知道原子性是指对数据库的一系列操作,要么全部成功,要么全部失败。
    undo log主要存储的是数据的逻辑变化日志,比如说我们要insert一条数据,
    那么undo log就会生成一条对应的delete日志。
    简单点说,undo log记录的是数据修改之前的数据,因为需要支持回滚。
    那么当需要回滚时,只需要利用undo log的日志就可以恢复到修改前的数据。
    undo log另一个作用是实现多版本控制(MVCC),undo记录中包含了记录更改前的镜像,
    如果更改数据的事务未提交,对于隔离级别大于等于read commit的事务而言,
    不应该返回更改后数据,而应该返回老版本的数据。

    技术改变世界
  • 相关阅读:
    Hibernate执行访问步骤及增删改查
    Tuscany SCA 发布Web Service
    AJAX概述
    WSDL概述与结构
    Android常用的简单代码
    volatile/synchronized
    SOAP概述和结构
    [原]spring学习笔记6.补遗2
    [原]spring学习笔记9.1Spring对Aop的支持AOP基础篇
    [转]转个经典的帖子:说故事学设计模式之Java静态代理模式
  • 原文地址:https://www.cnblogs.com/davidgu/p/14678555.html
Copyright © 2020-2023  润新知