• binlog之四:mysql中binlog_format模式与配置详解,binlog的日志格式详解


    mysql复制主要有三种方式:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复制(mixed-based replication, MBR)。对应的,binlog的格式也有三种:STATEMENT,ROW,MIXED。
     

    ① STATEMENT模式(SBR)

    每一条会修改数据的sql语句会记录到binlog中。优点是并不需要记录每一条sql语句和每一行的数据变化,减少了binlog日志量,节约IO,提高性能。缺点是在某些情况下会导致master-slave中的数据不一致(如sleep()函数, last_insert_id(),以及user-defined functions(udf)等会出现问题)

    ② ROW模式(RBR)

    不记录每条sql语句的上下文信息,仅需记录哪条数据被修改了,修改成什么样了。而且不会出现某些特定情况下的存储过程、或function、或trigger的调用和触发无法被正确复制的问题。缺点是会产生大量的日志,尤其是alter table的时候会让日志暴涨。

    ③ MIXED模式(MBR)

    以上两种模式的混合使用,一般的复制使用STATEMENT模式保存binlog,对于STATEMENT模式无法复制的操作使用ROW模式保存binlog,MySQL会根据执行的SQL语句选择日志保存方式。
     
    binlog复制配置

    在mysql的配置文件my.cnf中,可以通过一下选项配置binglog相关

    binlog_format           = MIXED                         //binlog日志格式,mysql默认采用statement,建议使用mixed
    log-bin                 = /data/mysql/mysql-bin.log    //binlog日志文件
    expire_logs_days        = 7                           //binlog过期清理时间
    max_binlog_size         = 100m                       //binlog每个日志文件大小
    binlog_cache_size       = 4m                        //binlog缓存大小
    max_binlog_cache_size   = 512m                     //最大binlog缓存大小

    对于执行的SQL语句中包含now()这样的时间函数,会在日志中产生对应的unix_timestamp()*1000的时间字符串,slave在完成同步时,取用的是sqlEvent发生的时间来保证数据的准确性。另外对于一些功能性函数slave能完成相应的数据同步,而对于上面指定的一些类似于UDF函数,导致Slave无法知晓的情况,则会采用ROW格式存储这些Binlog,以保证产生的Binlog可以供Slave完成数据同步。三 MIXED说明

    现在来比较以下 SBR 和 RBR 2中模式各自的优缺点:

    SBR 的优点:

    历史悠久,技术成熟
    binlog文件较小
    binlog中包含了所有数据库更改信息,可以据此来审核数据库的安全等情况
    binlog可以用于实时的还原,而不仅仅用于复制
    主从版本可以不一样,从服务器版本可以比主服务器版本高


    SBR 的缺点:

    不是所有的UPDATE语句都能被复制,尤其是包含不确定操作的时候。
    调用具有不确定因素的 UDF 时复制也可能出问题
    使用以下函数的语句也无法被复制:
    * LOAD_FILE()
    * UUID()
    * USER()
    * FOUND_ROWS()
    * SYSDATE() (除非启动时启用了 --sysdate-is-now 选项)
    INSERT ... SELECT 会产生比 RBR 更多的行级锁
    复制需要进行全表扫描(WHERE 语句中没有使用到索引)的 UPDATE 时,需要比 RBR 请求更多的行级锁
    对于有 AUTO_INCREMENT 字段的 InnoDB表而言,INSERT 语句会阻塞其他 INSERT 语句
    对于一些复杂的语句,在从服务器上的耗资源情况会更严重,而 RBR 模式下,只会对那个发生变化的记录产生影响
    存储函数(不是存储过程)在被调用的同时也会执行一次 NOW() 函数,这个可以说是坏事也可能是好事
    确定了的 UDF 也需要在从服务器上执行
    数据表必须几乎和主服务器保持一致才行,否则可能会导致复制出错
    执行复杂语句如果出错的话,会消耗更多资源

    RBR 的优点:

    任何情况都可以被复制,这对复制来说是最安全可靠的
    和其他大多数数据库系统的复制技术一样
    多数情况下,从服务器上的表如果有主键的话,复制就会快了很多
    复制以下几种语句时的行锁更少:
    * INSERT ... SELECT
    * 包含 AUTO_INCREMENT 字段的 INSERT
    * 没有附带条件或者并没有修改很多记录的 UPDATE 或 DELETE 语句
    执行 INSERT,UPDATE,DELETE 语句时锁更少
    从服务器上采用多线程来执行复制成为可能

    RBR 的缺点:

    binlog 大了很多
    复杂的回滚时 binlog 中会包含大量的数据
    主服务器上执行 UPDATE 语句时,所有发生变化的记录都会写到 binlog 中,而 SBR 只会写一次,这会导致频繁发生 binlog 的并发写问题
    UDF 产生的大 BLOB 值会导致复制变慢
    无法从 binlog 中看到都复制了写什么语句
    当在非事务表上执行一段堆积的SQL语句时,最好采用 SBR 模式,否则很容易导致主从服务器的数据不一致情况发生


    另外,针对系统库 mysql 里面的表发生变化时的处理规则如下:
    如果是采用 INSERT,UPDATE,DELETE 直接操作表的情况,则日志格式根据 binlog_format 的设定而记录
    如果是采用 GRANT,REVOKE,SET PASSWORD 等管理语句来做的话,那么无论如何都采用 SBR 模式记录
    注:采用 RBR 模式后,能解决很多原先出现的主键重复问题。

    二、使用mysqlbinlog解析binlog后的日志格式

    MIXED(STATEMENT):

    # at 193(开始位置)

    #110708 10:03:06(时间截) server id(产生该事件的服务id) 1  end_log_pos(日志的结束位置) 280  Query(事件类型)  thread_id=10    exec_time=0     error_code=0

    SETTIMESTAMP=1310090586/*!*/;

    insert into tvalues(17)

    /*!*/;

    ROW模式:

    BEGIN

    /*!*/;

    # at 174

    # at 214

    #110708 10:49:22server id 1  end_log_pos 214   Table_map: `test`.`t` mapped to number 14

    #110708 10:49:22server id 1  end_log_pos 248   Write_rows: table id 14 flags: STMT_END_F

    BINLOG '

    MnAWThMBAAAAKAAAANYAAAAAAA4AAAAAAAEABHRlc3QAAXQAAQMAAQ==

    MnAWThcBAAAAIgAAAPgAAAAAAA4AAAAAAAEAAf/+MgAAAA==

    '/*!*/;

    # at 248

    #110708 10:49:22server id 1  end_log_pos 317   Query  thread_id=1     exec_time=0     error_code=0

    SETTIMESTAMP=1310093362/*!*/;

    COMMIT

    三、binlog导出的日志文件内容格式详解

    每个binlog的开始都是由4个字节:fe 62 69 6e,组成的魔数(后面三个字节就是bin)。

    然后接下来的就是一条记录的内容它包括:Common-Header,这部分不同版本的大小不一样,4.0以上的都是19个字节。在这个之后就是BODY。

    Common-Header格式:(单位:字节)

    Timestamp(4)

    Type(1)

    Server_id(4)

    Total_size(4)

    End_log_pos(4)

    Flag(2)

    Timestamp:从1970开始

    Type:此log event type如FORMAT_DESCRIPTION_EVENT、QUERY、LOAD_EVENT等,其中每个binlog的第一条记录的类型都是FORMAT_DESCRIPTION_EVENT,它记录了该binlog的相关信息,如版本,这些信息对于后序分析binlog记录是有用的,所以对于任务要读取binlog的内容的工具都必须先读取第一条记录。QUERY包括我们经常操作的如:create,drop,update,insert等。

    Server_id:创建这个事件的server id。防止循环主从导致的主机被从写。The master's server id (is preserved in therelay log; used to prevent from infinite loops in circular replication).

    Total_size:该记录的大小,包括common_header及body。

    End_log_pos:此下一条记录的开始位置。也是此条记录结束位置的上一个字节。

    Flag:标志位。

    QUERY类型的记录:

    QUERY类型的记录除了开始的common-header之外,在body的开头是一个Post-header,然后之后才是真正的body内容。

    Query Post-Header:(单位字节)

    Thread_id(4)

    Exec_time(4)

    Db_len(1)

    Error_code(2)

    Status_var_len(2)

    Thread_id:is used to distinguish temporary tables that belong to differentclients.

    Exec_time:The time from whenthe query started to when it was logged in the binlog, in seconds.QUERY到达到这个binlog事件生成的时间间隔。

    Db_len:当前数据库的名称长度。

    Error_code:执行出错的错误号。

  • 相关阅读:
    前端优化技巧
    AngularJS 细节
    Xamarin.ios 目录结构
    Java编程中“为了性能”需做的26件事
    Java中的反射Reflection
    在MyEclipse中导入Datebase方法以及在MyEclipse项目工程里加载jar驱动的方法
    Solr 使用 Log4j
    solr学习笔记linux下配置solr
    Java程序员应该了解的10个面向对象设计原则
    Java堆内存的10个要点
  • 原文地址:https://www.cnblogs.com/duanxz/p/6650401.html
Copyright © 2020-2023  润新知