• MySQL日志详解(上篇)


    更多日志内容请看下篇:Mysql 日志下篇

    日志是数据库的重要组成部分,主要用来记录数据库的运行情况、日常操作和错误信息


    在 MySQL 中,日志可以分为二进制日志、错误日志、通用查询日志和慢查询日志。对于 MySQL 的管理工作而言,这些日志文件是不可缺少的。分析这些日志,可以帮助我们了解 MySQL 数据库的运行情况、日常操作、错误信息和哪些地方需要进行优化。

    下面简单介绍 MySQL 中 4 种日志文件的作用。

    • 二进制日志:该日志文件会以二进制的形式记录数据库的各种操作,但不记录查询语句。
    • 错误日志:该日志文件会记录 MySQL 服务器的启动、关闭和运行错误等信息。
    • 通用查询日志:该日志记录 MySQL 服务器的启动和关闭信息、客户端的连接信息、更新、查询数据记录的 SQL 语句等。
    • 慢查询日志:记录执行事件超过指定时间的操作,通过工具分析慢查询日志可以定位 MySQL 服务器性能瓶颈所在。


    为了维护 MySQL 数据库,经常需要在 MySQL 中进行日志操作,包含日志文件的启动、查看、停止和删除等,这些操作都是数据库管理中最基本、最重要的操作。

    例如,当用户 root 登录到 MySQL 服务器后,就会在日志文件里记录该用户的登录事件、执行操作等信息。当 MySQL 服务器运行时出错,出错信息就会被记录到日志文件里。

    日志操作是数据库维护中最重要的手段之一。如果 MySQL 数据库系统意外停止服务,我们可以通过错误日志查看出现错误的原因。还可以通过二进制日志文件来查看用户分别执行了哪些操作、对数据库文件做了哪些修改。然后,还可以根据二进制日志中的记录来修复数据库。

    在 MySQL 所支持的日志文件里,除了二进制日志文件外,其它日志文件都是文本文件。默认情况下,MySQL 只会启动错误日志文件,而其它日志则需要手动启动

    使用日志有优点也有缺点。启动日志后,虽然可以对 MySQL 服务器性能进行维护,但是会降低 MySQL 的执行速度。例如,一个查询操作比较频繁的 MySQL 中,记录通用查询日志和慢查询日志要花费很多的时间。

    日志文件还会占用大量的硬盘空间。对于用户量非常大、操作非常频繁的数据库,日志文件需要的存储空间甚至比数据库文件需要的存储空间还要大。因此,是否启动日志,启动什么类型的日志要根据具体的应用来决定。

    1.MySQL错误日志(Error Log)详解

    错误日志(Error Log)是 MySQL 中最常用的一种日志,主要记录 MySQL 服务器启动和停止过程中的信息、服务器在运行过程中发生的故障和异常情况等。

    下面介绍如何操作查看错误日志。

    启动和设置错误日志

    在 MySQL 数据库中,默认开启错误日志功能。一般情况下,错误日志存储在 MySQL 数据库的数据文件夹下,通常名称为 hostname.err。其中,hostname 表示 MySQL 服务器的主机名。

    在 MySQL 配置文件中,错误日志所记录的信息可以通过 log-error 和 log-warnings 来定义,其中,log-err 定义是否启用错误日志功能和错误日志的存储位置,log-warnings 定义是否将警告信息也记录到错误日志中。

    查看错误日志

    错误日志中记录着开启和关闭 MySQL 服务的时间,以及服务运行过程中出现哪些异常等信息。如果 MySQL 服务出现异常,可以到错误日志中查找原因。

    在 MySQL 中,通过 SHOW 命令可以查看错误日志文件所在的目录及文件名信息。

    将 log_error 选项加入到 MySQL 配置文件的 [mysqld] 组中,形式如下:

    [mysqld]
    log-error=dir/{filename}

    其中,dir 参数指定错误日志的存储路径;filename 参数指定错误日志的文件名;省略参数时文件名默认为主机名,存放在 Data 目录中。

    重启 MySQL 服务后,参数开始生效,可以在指定路径下看到 filename.err 的文件,如果没有指定 filename,那么错误日志将直接默认为 hostname.err。

    注意:错误日志中记录的并非全是错误信息,例如 MySQL 如何启动 InnoDB 的表空间文件、如何初始化自己的存储引擎等,这些也记录在错误日志文件中。

    错误日志以文本文件的形式存储,直接使用普通文本工具就可以查看。这里通过记事本打开,从上面可以知道错误日志的文件名。该文件在默认的数据路径“C:ProgramDataMySQLMySQL Server 5.7Data”下,打开 LAPTOP-UHQ6V8KP.err 文件,部分内容如下:

    190906 22:06:45 InnoDB: Completed initialization of buffer pool
    190906 22:06:45 InnoDB: highest supported file format is Barracuda.
    190906 22:06:45  InnoDB: Waiting for the background threads to start
    190906 22:06:46 InnoDB: 5.7.29 started; log sequence number 1605345
    190906 22:06:47 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
    190906 22:06:47 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
    190906 22:06:47 [Note] Server socket created on IP: '0.0.0.0'.
    190906 22:06:47 [Note] Event Scheduler: Loaded 0 events
    190906 22:06:47 [Note] /usr/sbin/mysqld: ready for connections.
    Version: '5.7.29-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MySQL Community Server (GPL)
    View Code

    以上是错误日志文件的一部分,主要记载了系统的一些运行错误。

    删除错误日志

    在 MySQL 中,可以使用 mysqladmin 命令来开启新的错误日志,以保证 MySQL 服务器上的硬盘空间。mysqladmin 命令的语法如下:

    mysqladmin -uroot -p flush-logs

    执行该命令后,MySQL 服务器首先会自动创建一个新的错误日志,然后将旧的错误日志更名为 filename.err-old。

    MySQL 服务器发生异常时,管理员可以在错误日志中找到发生异常的时间、原因,然后根据这些信息来解决异常。对于很久之前的错误日志,查看的可能性不大,可以直接将这些错误日志删除。

    2.MySQL二进制日志(Binary Log)详解

    二进制日志(Binary Log)也可叫作变更日志(Update Log),是 MySQL 中非常重要的日志。主要用于记录数据库的变化情况,即 SQL 语句的 DDL 和 DML 语句,不包含数据记录查询操作。

    如果 MySQL 数据库意外停止,可以通过二进制日志文件来查看用户执行了哪些操作,对数据库服务器文件做了哪些修改,然后根据二进制日志文件中的记录来恢复数据库服务器。

    默认情况下,二进制日志功能是关闭的。可以通过以下命令查看二进制日志是否开启,命令如下:

    mysql> SHOW VARIABLES LIKE 'log_bin';
    +---------------+-------+
    | Variable_name | Value |
    +---------------+-------+
    | log_bin       | OFF   |
    +---------------+-------+
    1 row in set, 1 warning (0.02 sec)

    从结果可以看出,二进制日志是关闭的。

    启动和设置二进制日志

    在 MySQL 中,可以通过在配置文件中添加 log-bin 选项来开启二进制日志,格式如下:

    [mysqld]
    log-bin=dir/[filename]

    其中,dir 参数指定二进制文件的存储路径;filename 参数指定二进制文件的文件名,其形式为 filename.number,number 的形式为 000001、000002 等。

    每次重启 MySQL 服务后,都会生成一个新的二进制日志文件,这些日志文件的文件名中 filename 部分不会改变,number 会不断递增。

    如果没有 dir 和 filename 参数,二进制日志将默认存储在数据库的数据目录下,默认的文件名为 hostname-bin.number,其中 hostname 表示主机名。

    下面在 my.ini 文件的 [mysqld] 组中添加以下语句:

    log-bin

    重启 MySQL 服务器后,可以在 MySQL 数据库的数据目录下看到 LAPTOP-UHQ6V8KP-bin.000001 这个文件,同时还生成了 LAPTOP-UHQ6V8KP-bin.index 文件。此处,MySQL 服务器的主机名为 LAPTOP-UHQ6V8KP。

    还可以在 my.ini 文件的 [mysqld] 组中进行如下修改。语句如下:

    log-bin=C:logmylog

    重启 MySQL 服务后,可以在 C:log 文件夹下看到 mylog.000001 文件和 mylog.index 文件。

    查看二进制日志

    1. 查看二进制日志文件列表

    可以使用如下命令查看 MySQL 中有哪些二进制日志文件:

    mysql> SHOW binary logs;
    +----------------------------+-----------+
    | Log_name                   | File_size |
    +----------------------------+-----------+
    | LAPTOP-UHQ6V8KP-bin.000001 |       177 |
    | LAPTOP-UHQ6V8KP-bin.000002 |       154 |
    +----------------------------+-----------+
    2 rows in set (0.00 sec)

    2. 查看当前正在写入的二进制日志文件

    可以使用以下命令查看当前 MySQL 中正在写入的二进制日志文件。

    mysql> SHOW master status;
    +----------------------------+----------+--------------+------------------+-------------------+
    | File                       | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
    +----------------------------+----------+--------------+------------------+-------------------+
    | LAPTOP-UHQ6V8KP-bin.000002 |      154 |              |                  |                   |
    +----------------------------+----------+--------------+------------------+-------------------+
    1 row in set (0.00 sec)

    3. 查看二进制日志文件内容

    二进制日志使用二进制格式存储,不能直接打开查看。如果需要查看二进制日志,必须使用 mysqlbinlog 命令

    mysqlbinlog 命令的语法形式如下:

    mysqlbinlog filename.number

    mysqlbinlog 命令只在当前文件夹下查找指定的二进制日志,因此需要在二进制日志所在的目录下运行该命令,否则将会找不到指定的二进制日志文件。

    例 1

    下面使用 mysqlbinlog 命令,来查看 C:log 目录下的 mylog.000001 文件,代码执行如下:

    C:Users11645>cd C:log
    C:log>mysqlbinlog mylog.000001
    /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
    /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
    DELIMITER /*!*/;
    # at 4
    #200527  9:33:37 server id 1  end_log_pos 123 CRC32 0x69738cfd  Start: binlog v 4, server v 5.7.29-log created 200527  9:33:37 at startup
    ......
    View Code

    由于日志内容较长,这里只展示了 mylog 中的部分内容。

    使用 mysqlbinlog 命令时,可以指定二进制文件的存储路径。这样可以确保 mysqlbinlog 命令可以找到二进制文件。上面例子中的命令可以变为如下形式:

    mysqlbinlog C:logmylog.000001

    这样,mysqlbinlog 命令就会到 C:log 目录下去查找 mylog.000001 文件。如果不指定路径,mysqlbinlog 命令将在当前目录下查找 mylog.000001 文件。

    除了 filename.number 文件,MySQL 还会生成一个名为 filename.index 的文件,这个文件存储着所有二进制日志文件的列表,可以用记事本打开该文件。

    小技巧:实际工作中,二进制日志文件与数据库的数据文件不放在同一块硬盘上,这样即使数据文件所在的硬盘被破坏,也可以使用另一块硬盘上的二进制日志来恢复数据库文件。
    两块硬盘同时坏了的可能性要小得多,这样可以保证数据库中数据的安全。

    删除二进制日志

    二进制日志中记录着大量的信息,如果很长时间不清理二进制日志,将会浪费很多的磁盘空间。删除二进制日志的方法很多,下面介绍几种删除二进制日志的方法。

    1. 删除所有二进制日志

    使用 RESET MASTER 语句可以删除的所有二进制日志,该语句的形式如下:

    RESET MASTER;

    登录 MySQL 数据库后,可以执行该语句来删除所有二进制日志。删除所有二进制日志后,MySQL 将会重新创建新的二进制日志,新二进制日志的编号从 000001 开始。

    2. 根据编号删除二进制日志

    每个二进制日志文件后面有一个 6 位数的编号,如 000001。使用 PURGE MASTER LOGS TO 语句,可以删除指定二进制日志的编号之前的日志。该语句的基本语法形式如下:

    PURGE MASTER LOGS TO 'filename.number';

    该语句将删除编号小于 filename.number 的所有二进制日志。

    例 2

    下面删除 mylog.000004 之前的二进制日志,代码如下:

    PURGE MASTER LOGS TO 'mylog.000004';

    代码执行完后,编号为 000001、000002 和 000003 的二进制日志将被删除。

    3. 根据创建时间删除二进制日志

    使用 PURGE MASTER LOGS TO 语句,可以删除指定时间之前创建的二进制日志,该语句的基本语法格式如下:

    PURGE MASTER LOGS TO 'yyyy-mm-dd hh:MM:ss';

    其中,“hh”为 24 制的小时。该语句将删除在指定时间之前创建的所有二进制日志。

    例 3

    下面删除 2019-12-20 15:00:00 之前创建的二进制日志,代码如下:

    PURGE MASTER LOGS TO '2019-12-20 15:00:00";

    代码执行完后,2019-12-20 15:00:00 之前创建的所有二进制日志将被删除。

    暂时停止二进制日志

    在配置文件中设置了 log_bin 选项之后,MySQL 服务器将会一直开启二进制日志功能。删除该选项后就可以停止二进制日志功能,如果需要再次启动这个功能,需要重新添加 log_bin 选项。由于这样比较麻烦,所以 MySQL 提供了暂时停止二进制日志功能的语句。

    如果用户不希望自己执行的某些 SQL 语句记录在二进制日志中,可以在执行这些 SQL 语句之前暂停二进制日志功能。

    使用 SET 语句来暂停/开启二进制日志功能,命令如下:

    SET SQL_LOG_BIN=0/1;

    以上命令中,0 表示暂停二进制日志功能,1 表示开启二进制功能。

    拓展

    my.ini 中的 [mysqld] 组下面有几个设置参数是关于二进制日志的:

    expire_logs_days = 10
    max_binlog_size = 1​00M
    • expire_logs_day 定义了 MySQL 清除过期日志的时间、二进制日志自动删除的天数。默认值为 0,表示“没有自动删除”。当 MySQL 启动或刷新二进制日志时可能删除。
    • max_binlog_size 定义了单个文件的大小限制,如果二进制日志写入的内容大小超出给定值,日志就会发生滚动(关闭当前文件,重新打开一个新的日志文件)。不能将该变量设置为大于 1GB 或小于 4096B(字节),其默认值是 1GB。

    MySQL使用二进制日志还原数据库

    二进制日志中记录了用户对数据库更改的所有操作,如 INSERT 语句、UPDATE 语句、CREATE 语句等。如果数据库因为操作不当或其它原因丢失了数据,可以通过二进制日志来查看在一定时间段内用户的操作,结合数据库备份来还原数据库。

    下面将为读者详细介绍使用二进制日志还原数据库的方法。

    数据库遭到意外损坏时,应该先使用最近的备份文件来还原数据库。另外备份之后,数据库可能进行了一些更新,这时可以使用二进制日志来还原。因为二进制日志中存储了更新数据库的语句,如 UPDATE 语句、INSERT 语句等。

    二进制日志还原数据库的命令如下:

    mysqlbinlog filename.number | mysql -u root -p

    以上命令可以理解成,先使用 mysqlbinlog 命令来读取 filename.number 中的内容,再使用 mysql 命令将这些内容还原到数据库中。

    技巧:二进制日志虽然可以用来还原 MySQL 数据库,但是其占用的磁盘空间也是非常大的。因此,在备份 MySQL 数据库之后,应该删除备份之前的二进制日志。如果备份之后发生异常,造成数据库的数据损失,可以通过备份之后的二进制日志进行还原。

    使用 mysqlbinlog 命令进行还原操作时,必须是编号(number)小的先还原。例如,mylog.000001 必须在 mylog.000002 之前还原。

    例 1

    下面使用二进制日志来还原数据库,代码如下:

    mysqlbinlog mylog.000001 | mysql -u root -p
    mysqlbinlog mylog.000002 | mysql -u root -p
    mysqlbinlog mylog.000003 | mysql -u root -p
    mysqlbinlog mylog.000004 | mysql -u root -p
  • 相关阅读:
    框架搭建相关
    MVC的优缺点
    java filter、listener、servlet
    java类反射
    oracle创建用户及赋权
    sql分组最大值相关
    oracle备份还原数据库
    Oracle创建DataBase Links
    linux 安装mysql
    网址收藏
  • 原文地址:https://www.cnblogs.com/cy0628/p/15027203.html
Copyright © 2020-2023  润新知