• percona-toolkit工具的使用


    percona-toolkit是一组高级命令行工具的集合,可以查看当前服务的摘要信息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等

    percona-toolkit 源自 Maatkit 和 Aspersa 工具,这两个工具是管理 mysql 的最有名的 工具,现在 Maatkit 工具已经不维护了,请大家还是使用 percona-toolkit 吧!这些 工具主要包括开发、性能、配置、监控、复制、系统、实用六大类,作为一个优秀 的 DBA,里面有的工具非常有用,如果能掌握并加以灵活应用,将能极大的提高工 作效率。

    1、安装

    需求

     * Perl v5.8 or newer
     * Bash v3 or newer
     * Core Perl modules like Time::HiRes
    yum -y install  perl-DBI  perl-DBD-MySQL  perl-TermReadKey perl-devel perl-Time-HiRes
    cd /usr/local/src/
    wget https://www.percona.com/downloads/percona-toolkit/2.2.15/deb/percona-toolkit_2.2.15-2.tar.gz
    tar -zxf percona-toolkit_2.2.15-2.tar.gz
    cd percona-toolkit-2.2.15/
    chmod +x Makefile.PL
    perl Makefile.PL
    make && make install
    ln -s /usr/bin  /usr/local/bin/*
    

    2、介绍

    1)pt-duplicate-key-checker

    功能为从 mysql 表中找出重复的索引和外键,这个工具会将重复的索引和外键都列出来,并生成了删除重复索引的语句,非常方便

    pt-duplicate-key-checker --h localhost --u root --p 123456 -d test
    

    2)pt-online-schema-change

    功能为在 alter 操作更改表结构的时候不用锁定表,也就是说执行 alter 的时候不会阻塞写和读取操作,注意执行这个工具的时候必须 做好备份

    官方文档 http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-ch ange.html

    工作原理是创建一个和你要执行 alter 操作的表一样的空表结构,执 行表结构修改,然后从原表中 copy 原始数据到表结构修改后的表, 当数据 copy 完成以后就会将原表移走,用新表代替原表,默认动作 是将原表 drop 掉。在 copy 数据的过程中,任何在原表的更新操作都 会更新到新表,因为这个工具在会在原表上创建触发器,触发器会将 在原表上更新的内容更新到新表。如果表中已经定义了触发器这个工 具就不能工作了。

    pt-online-schema-change --lock-wait-time=120 --alter="ENGINE=InnoDB" D=database,t=table --execute
    pt-online-schema-change --lock-wait-time=120 --alter="ADD COLUMN domain_id INT"D=database,t=table --execute
    

    3)pt-query-advisor

    根据一些规则分析查询语句,对可能的问题提出建议

    pt-query-advisor /path/to/slow-query.log
    pt-query-advisor --type genlog mysql.log
    pt-query-digest --type tcpdump.txt --print --no-report | pt-query-advisor
    pt-query-advisor --query "select * from test"
    pt-query-advisor /path/to/general.log
    pt-query-advisor /path/to/localhost-slow.log
    

    4)pt-show-grants

    规范化和打印 mysql 权限,让你在复制、比较 mysql 权限以及进行版 本控制的时候更有效率

    pt-show-grants --h localhost --u root --p 123456
    pt-show-grants --h localhost --u root --p 123456 -d test
    pt-show-grants --h localhost --u root --p 123456 -d test --revoke
    

    5)pt-upgrade

    在多台服务器上执行查询,并比较有什么不同!这在升级服务器的时 候非常有用,可以先安装并导数据到新的服务器上,然后使用这个工 具跑一下 sql 看看有什么不同,可以找出不同版本之间的差异

    6)pt-index-usage

    从 log 文件中读取查询语句,并用 explain 分析他们是如何利用索引。 完成分析之后会生成一份关于索引没有被查询使用过的报告

    pt-index-usage /path/to/slow.log --h localhost --u root --p 123456 -d test --no-report --create-save-results-database
    

    7)pt-pmp

    为查询程序执行聚合的 GDB 堆栈跟踪,先进性堆栈跟踪,然后将跟踪信息汇总

    pt-pmp -p 21933
    pt-pmp -b /usr/local/mysql/bin/mysqld_safe
    

    8)pt-visual-explain

    格式化 explain 出来的执行计划按照 tree 方式输出,方便阅读

    pt-visual-explain --connect aaa --h localhost --u root --p 123456 -d test
    pt-visual-explain `mysql --h localhost --u root --p 123456 -d test -e "explain select testx from test where id=1"` |
    

    9、pt-config-diff

    比较 mysql 配置文件和服务器参数

    pt-config-diff /usr/local/mysql/share/mysql/my-large.cnf /usr/local/mysql/share/mysql/my-medium.cnf
    

    10、pt-mysql-summary

    精细地对 mysql 的配置和 sataus 信息进行汇总,汇总后你直接看一眼 就能看明白

    pt-mysql-summary  --user=root --password=sEtNcu3O9R7Dl29c --all-databases

    11)pt-variable-advisor

    分析 mysql 的参数变量,并对可能存在的问题提出建议

    pt-variable-advisor --h localhost --u root --p 123456 
    

    结果

    # WARN delay_key_write: MyISAM index blocks are never flushed until necessary.
    
    # WARN innodb_lock_wait_timeout: This option has an unusually long value, which can cause system overload if locks are not being released.
    
    # NOTE innodb_max_dirty_pages_pct: The innodb_max_dirty_pages_pct is lower than the default.
    
    # NOTE low_priority_updates: The server is running with non-default lock priority for updates.
    
    # NOTE max_binlog_size: The max_binlog_size is smaller than the default of 1GB.
    
    # NOTE port: The server is listening on a non-default port.
    
    # NOTE read_buffer_size-1: The read_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.
    
    # NOTE read_rnd_buffer_size-1: The read_rnd_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.
    
    # CRIT slave_skip_errors: You should not set this option.
    
    # NOTE sort_buffer_size-1: The sort_buffer_size variable should generally be left at its default unless an expert determines it is necessary to change it.
    
    # NOTE tx_isolation-1: This server's transaction isolation level is non-default.
    
    # NOTE innodb_data_file_path: Auto-extending InnoDB files can consume a lot of disk space that is very difficult to reclaim later.
    
    # WARN log_output: Directing log output to tables has a high performance impact.
    

    12)pt-deadlock-logger

    提取和记录 mysql 死锁的相关信息,收集和保存 mysql 上最近的死锁信息,可以直接打印死锁信息和存储 死锁信息到数据库中,死锁信息包括发生死锁的服务器、最近发生死 锁的时间、死锁线程 id、死锁的事务 id、发生死锁时事务执行了多长 时间等等非常多的信息

    13)pt-fk-error-logger

    提取和记录 mysql 外键错误信息,通过SHOW INNODB STATUS提取和保存mysql数据库最近发生的外键 错误信息。可以通过参数控制直接打印错误信息或者将错误信息存储 到数据库的表中

    14)pt-mext

    并行查看 SHOW GLOBAL STATUS 的多个样本的信息,原理:pt-mext 执行你指定的 COMMAND,并每次读取一行结果,把 空行分割的内容保存到一个一个的临时文件中,最后结合这些临时文 件并行查看结果

    15)pt-query-digest

    分析查询执行日志,并产生一个查询报告,为 MySQL、PostgreSQL、 memcached 过滤、重放或者转换语句

    16)pt-trend

    居于一组时间序列的数据点做统计,读取一个慢查询日志,并输出统计信息。也可以指定多个文件。如果 不指定文件的话直接从标准输入中读取信息

    17)pt-heartbeat

    监控 mysql 复制延迟,测量复制落后主 mysql 或者主 PostgreSQL 多少时间,你可以使用这个 脚本去更新主或者监控复制

    原理:pt-heartbeat 通过真实的复制数据来确认 mysql 和 postgresql 复制延迟,这个避免了对复制机制的依赖,从而能得出准确的落后复 制时间,包含两部分:第一部分在主上 pt-heartbeat 的--update 线程 会在指定的时间间隔更新一个时间戳,第二部分是 pt-heartbeat 的 --monitor 线程或者--check 线程连接到从上检查复制的心跳记录(前 面更新的时间戳),并和当前系统时间进行比较,得出时间的差异。 你可以手工创建 heartbeat 表或者添加--create-table 参数,推荐使用 MEMORY 引擎

    18)pt-slave-delay

    设置从服务器落后于主服务器指定时间

    原理:通过启动和停止复制 sql 线程来设置从落后于主指定时间。默 认是基于从上 relay 日志的二进制日志的位置来判断,因此不需要连 接到主服务器,如果 IO 进程不落后主服务器太多的话,这个检查方 式工作很好,如果网络通畅的话,一般 IO 线程落后主通常都是毫秒 级别。一般是通过--delay and --delay"+"--interval 来控制。--interval 是 指定检查是否启动或者停止从上 sql 线程的频繁度,默认的是 1 分钟 检查一次

    19)pt-slave-find

    查找和打印 mysql 所有从服务器复制层级关系

    原理:连接 mysql 主服务器并查找其所有的从,然后打印出所有从服 务器的层级关系

    20)pt-slave-restart

    监视 mysql 复制错误,并尝试重启 mysql 复制当复制停止的时候,监视一个或者多个 mysql 复制错误,当从停止的时候尝试重新启动复 制。你可以指定跳过的错误并运行从到指定的日志位置

    21)pt-table-checksum

    检查 mysql 复制一致性

    工作原理:pt-table-checksum 在主上执行检查语句在线检查 mysql 复 制的一致性,生成 replace 语句,然后通过复制传递到从,再通过 update 更新 master_src 的值。通过检测从上 this_src 和 master_src 的 值从而判断复制是否一致。 注意:使用的时候选择业务地峰的时候运行,因为运行的时候会造成 表的部分记录锁定。使用--max-load 来指定最大的负载情况,如果达 到那个负载这个暂停运行。如果发现有不一致的数据,可以使用 pt-table-sync 工具来修复。 注意:和 1.0 版本不同,新版本的 pt-table-checksum 只需要在 master 上执行即可。 通过 –explain 参数再结合二进制日志就可以看出脚本的工作原理, 如我的 test 库有一个名字为 zhang 的表,我们通过抓取二进制日志来 查看

    22)pt-table-sync

    高效同步 mysql 表的数据

    原理:总是在主上执行数据的更改,再同步到从上,不会直接更改成 从的数据,在主上执行更改是基于主上现在的数据,不会更改主上的 数据。注意使用之前先备份你的数据,避免造成数据的丢失.执行 execute 之前最好先换成--print 或--dry-run 查看一下会变更哪些数据

    23)pt-diskstats

    是一个对 GUN/LINUX 的交互式监控工具,为 GUN/LINUX 打印磁盘 io 统计信息,和 iostat 有点像,但是这个工 具是交互式并且比 iostat 更详细。可以分析从远程机器收集的数据

    24)pt-fifo-split

    模拟切割文件并通过管道传递给先入先出队列而不用真正的切割文 件,pt-fifo-split 读取大文件中的数据并打印到 fifo 文件,每次达到指定行 数就往 fifo 文件中打印一个 EOF 字符,读取完成以后,关闭掉 fifo 文 件并移走,然后重建 fifo 文件,打印更多的行。这样可以保证你每次 读取的时候都能读取到制定的行数直到读取完成。注意此工具只能工 作在类 unix 操作系统。这个程序对大文件的数据导入数据库非常有 用,具体的可以查看 http://www.mysqlperformanceblog.com/2008/07 /03/how-to-load-large-files-safely-into-innodb-with-load-data-infile/。

    25)pt-summary

    友好地收集和显示系统信息概况,此工具并不是一个调优或者诊断工 具,这个工具会产生一个很容易进行比较和发送邮件的报告

    原理:此工具会运行和多命令去收集系统状态和配置信息,先保存到 临时目录的文件中去,然后运行一些unix命令对这些结果做格式化, 最好是用 root 用户或者有权限的用户运行此命令

    26)pt-stalk

    出现问题的时候收集 mysql 的用于诊断的数据,pt-stalk 等待触发条件触发,然后收集数据帮助错误诊断,它被设计 成使用 root 权限运行的守护进程,因此你可以诊断那些你不能直接 观察的间歇性问题。默认的诊断触发条件为 SHOW GLOBAL STATUS。 也可以指定 processlist 为诊断触发条件 ,使用--function 参数指定

    27)pt-archiver

    将 mysql 数据库中表的记录归档到另外一个表或者文件,也可以直接 进行记录的删除操作

    这个工具只是归档旧的数据,不会对线上数据的 OLTP 查询造成太大 影响,你可以将数据插入另外一台服务器的其他表中,也可以写入到 一个文件中,方便使用 load data infile 命令导入数据。另外你还可以 用它来执行 delete 操作。这个工具默认的会删除源中的数据。使用 的时候请注意

    28)pt-find

    查找 mysql 表并执行指定的命令,和 gnu 的 find 命令类似

    29)pt-kill

    Kill 掉符合指定条件 mysql 语句,假如没有指定文件的话pt-kill连接到mysql并通过SHOW PROCESSLIST 找到指定的语句,反之 pt-kill 从包含 SHOW PROCESSLIST 结果的文件 中读取 mysql 语句

  • 相关阅读:
    scala学习之特质(trait)
    Android 使用finalBitmap实现缓存读取
    Android ActionBar以及menu的代码设置样式
    Android获取窗体信息的Util方法
    RelativeLayout用到的一些重要的属性:
    [转] Git SSH Key 生成步骤
    正则表达式
    面向对象
    数组
    顺序结构,循环结构
  • 原文地址:https://www.cnblogs.com/chenpingzhao/p/4850420.html
Copyright © 2020-2023  润新知