• MySQL监控、性能分析——工具篇


     

    MySQL越来越被更多企业接受,随着企业发展,MySQL存储数据日益膨胀,MySQL的性能分析、监控预警、容量扩展议题越来越多。“工欲善其 事,必先利其器”,那么我们如何在进行MySQL性能分析、监控预警、容量扩展问题上得到更好的解决方案,就要利用各种工具来对MySQL各种指标进行分 析。本文是读书笔记,下面提及的工具,读者可能都用过,或打算准备是使用。
    MySQL服务器的发布包没有包含那些能完成许多常见任务的工具,例如监控服务器的工具、比较服务器间数据的工具。我们把这些工具分成以下几类:界面、监控、分析和辅助工具。

    • 带界面的工具
      1、MySQL可视化工具
      这些工具都可以免费使用: 

      a、MySQL查询浏览器(MySQL Query Browser):这个不用说了…
      b、MySQL管理员(MySQL Administrator):功能集中在服务器管理上,所以它最适合DBA使用,而不是开发人员和分析人员。它可以帮助DBA把创建备份 、创建用户并分配权限、显示服务器日志和状态信息等过程进行自动化处理。它还包括了一些基本的监控功能,例如图形化的状态变量显示,但是它没有下文里会提 到的交互式监控工具那么灵活。
      c、MySQL迁移工具箱(MySQL Migration Tookit):可以帮你把数据从别的数据库系统迁移到MySQL里。
      d、MySQL工作台(MySQL Workbench):MySQL的建模工具。

      2、SQLyog
      SQLyog是最常用的MySQL可视化工具,只能用于win下。

      3、phpMyAdmin
      phpMyAdmin是一款很流行的管理工具,它基于Web界面来管理MySQL服务器。有很多支持者,但反对者也不少。

    • 监控工具
      MySQL监控是一个很大复杂的任务,不同的应用有着不同的需求。“监控”是大家滥用的术语 之一,承载了几重意思。我们讲到的监控工具被分为非互动的和互动的两类。非互动监控常常就是一个自动化系统,它接收系统的测量值,如果有超出安全范围的, 就通过发出警告提醒管理员。互动监控工具可以让你实时地观测服务器。 

      你可能对监控工具在其他方面的差别也很感兴趣,例如被动监控和主动监控,后者会发送报警信息并作出初步反应(就像Nagios一样);或者你可能正 在寻找这样一工具:它可以创建一个信息仓库,而不仅仅是显示当前的统计信息。有许多监控系统不是专为监控MySQL而设计的,它们就是一个通用系统,里面 设计了一个周期性的任务,定时去检查各类资源的状态,例如像服务器、路由器、以及各种软件(包括MySQL)。它们常常会提供一个插件架构,同时有一个预 订的MySQL插件可供使用。这样的一些系统能够记录监控对象的状态,并通过web界面用图形化的形式表示出来。当监控对象出现问题,或者状态值超过安全 范围时,它们还能发送报警信息,或者执行一个初始化的动作。

      a、非交互性工具

      1、Nagios
      监控界流行一句话:只要用顺了Nagios,你就永远不会再想到其它监控系统。
      对于Nagios本blog会持续推出相关文章,现在只是引用Nagios官方的介绍:
      Nagios是一款用于系统和网络监控的应用程序。它可以在你设定的条件下对主机和服务进行监控,在状态变差和变好的时候给出告警信息。
      Nagios最初被设计为在Linux系统之上运行,然而它同样可以在类Unix的系统之上运行。
      Nagios更进一步的特征包括:监控网络服务(SMTP、POP3、HTTP、NNTP、PING等);
      监控主机资源(处理器负荷、磁盘利用率等);
      简单地插件设计使得用户可以方便地扩展自己服务的检测方法;
      并行服务检查机制;
      具备定义网络分层结构的能力,用”parent”主机定义来表达网络主机间的关系,这种关系可被用来发现和明晰主机宕机或不可达状态;
      当服务或主机问题产生与解决时将告警发送给联系人(通过EMail、短信、用户定义方式);
      具备定义事件句柄功能,它可以在主机或服务的事件发生时获取更多问题定位;
      自动的日志回滚;可以支持并实现对主机的冗余监控;可选的WEB界面用于查看当前的网络状态、通知和故障历史、日志文件等;

      下面是可代替Nagios的工具:

      i、Zenoss
      Zenoss是用Python编写的,拥有基于浏览器的用户界面,并使用了Ajax使操作更加快捷而富有效率。它将监控、 报警、趋势显示、图表显示和记录历史数据等功能合成在一个统一的工具里,它还能在网上自动发现资源,在默认情况下,Zenoss使用SNMP从远程机器上 收集数据,但它也可以使用SSH,并且支持Nagios插件。
      ii、Hyperic HQ
      Hyperic HQ是一款基于Java的监控系统,它的目标跟其他同类别的软件不太一样,它要成为企业级的监控系统。跟Zenoss一样,它也能自动发现资源,支持 Nagios插件,但是它的逻辑组织和架构很不一样,显得有点庞大。至于它是不是合适你的需求,那要看你的参数设置和监控的方式了。
      iii、OpenNMS
      OpenNMS 是由Java编写的,拥有一个活跃的开发者社区。它具备了常规的功能,例如监控和报警,也加入了图表和趋势显示的功能。它的目标是高性能、伸缩性、自动化 以及良好的兼容性。跟Hyperic一样,它也企图成为一款企业级的监控软件,可以用于大型的关键系统上。
      iv、Groundwork Open Source
      Groundwork Open Source实际上是基于Nagios的,它把Nagios和其他几个工具集成为一个系统,并安上一个统一的门户界面。描述它的最好方法可能就是:如果你 对Nagios、Cacti及其他工具很熟悉,并且能够花大量的时间把它们无缝地集成在一起的话,你也能在家庭作坊里做一个出来。
      v、Zabbix
      Zabbix 是一个开源监控系统,在许多方面跟Nagios很相像,但是也有一些关键的不同点。例如:它把所有配置信息和其他数据都存放在一个数据库里,而不是放在配 置文件里;它比Nagios存储了更多类型的数据,这样可以生成更好的趋势图和历史报告。它的网络图表和可视化功能也优于Nagios。很多使用它的人发 现它更易配置,更具有兼容性。说起来它也能比Nagios少,它的报警功能也不够高级。

      2、MySQL监控和建议服务
      MySQL自己的监控方案就是设计用来监控MySQL实例的,但也能够监控主机的一些关键方面。这个工具不是开源的,需要MySQL企业订阅费。

      3、MONyog
      MONyog是一个轻量级的无代理的监控系统,它跟以上那些工具有着不同实现方法:它的底层是一个JavaScript引 擎,所有配置都是通过JavaScrpt对象模型来完成的。它被设计为在桌面系统上运行,运行时它会在一个闲置的端口上打开一个HTTP监听器。这样,你 就可以把你的浏览器指向这个端口,查看MySQL服务器的信息了,这信息都是结合了Javascript和Flash来表示的。MONyog实际上有交互 式和非交互式两种类型,因此,你可以把两种类型的监控功能都尝试着用用看。

      4、基于RRDTool的系统
      严格地说,RRDTool不算是一个监控系统,但是,它很重要,有必要在此提到一下。很多组织里都是使用几种 脚本或程序–这些一般都是自制的–从服务器那里读取信息,然后再保存到循环数据库(Round-robin database,RRD)文件里。在许多要获取记录生成图表的环境下,RRD文件是一个很合适的解决方案。它们能聚合输入的数据,如果输入数据值没有按 期在随后提交进行时,还能在随后插入这些丢失的数据。它们还都带有强大的图表工具,能够生成漂亮的与众不同的图表。现在已经有一些基于RRDTOOL的系 统可供使用了。

      a、Muti Router Traffic Grapher,或者叫MRTG就是一款典型的基于RRDTOOL的系统。它真正的设计初衷是记录网络数据流,但是它也被扩展用来记录和图表化表示其他一些东西。
      b、Munin是一个能为你采集数据的系统,将它放入RRDTool后,就会根据数据生成不同粒度的图表。它能从配置信息里生成静态的HTML文件,这样你就可以轻松地浏览,查看趋势情况。
      c、 Cacti是另外一个常用的图表和趋势显示系统。它的工作方式是:从系统里获取数据,然后保存在RRD文件里,然后用PHP Web界面的形式,使用RRDTool把数据以图表的形式展示出来。这个显示界面也是配置和管理界面(配置信息存储在一个MySQL服务器里)。它是模板 驱动的,因此,你可以自己定义模板,并放到你的系统里使用。

      d、Cricket是一个用Perl编写的跟Cacti类似的系统,使用的是基于文件的配置系统。Ganglia也跟Cacti类似,但它的设计初 衷是永远监控群集和系统网络,因此,你可以查看到由许多服务器信息聚合得到的结果,也可以按照你的意愿,查看单独某台服务器的信息。(Cacti和 Cricket无法显示聚合数据。)

      以上这些系统都可以被用作MySQL系统信息的收集、记录、图表化数据和报告,它们在用途方面差异较小,都具备了不同程度的兼容性。但是,它们缺乏真正意义上的兼容性,比如当某些东西出错时,它要能够有针对性地发送报警信息给某些人。它们中的一些甚至没有“错误”的概念。所 以,有些人把这一点看作是此类系统的一大缺点,觉得最好还是把记录、图表化表示、报警这几项功能都独立开来。事实上,Munin特地设计了使用 Nagios来作为它的报警系统。然而,对于其他几个来说,这的确是缺点。另外还有一个缺点就是安装和配置这样一个系统,使其能完全满足你需求,须投入很 多时间和努力,不过,这一点也并不是这样。
      最后,RRD文件无法让你使用SQL或其他标准方法来查询它里面的数据。而且,在默认情况下,它永远会以一种恰好的粒度来存储数据,许多MySQL管理员就不愿意接受这种限制,转而选择一个关系数据库来存储这些历史数据。

      b、交互性工具
      交互性工具就是那些在你需要时就可以启动起来,并以视图显示的形式不断获取最新服务器状态的软件。

      innotop
      innotop是一个通过文本模式显示MySQL和InnoDB的监测工具。它有很多特点,快速的配置的,易于使用等。它吸 取了MYTOP的精华这使它变得更加强大。innotop是用PERL语言写成的,这是它能更加灵活的使用在各种操作平台之上,它能详细的的监控出当前 MYSQL和INNODB运行的状态,以便维护人员根据结果合理的优化MYSQL,让MYSQL更稳定更高效的运行。安装INNOTOP工具非常的简单, 既然是由PERL写的,当然需要PERL环境和相关的工具包。在安装之前先要确定你的系统安装了 Time::HiRes,Term::ReadKey,DBI,DBD::mysql这四个包。安装可以把包下载下来通过编译安装完成也可以用PERL模 块安装方式来完成。
      mtop
      是一个显示MySQL服务器查询状态的监视器。功能包括显示完成的查询进程,显示查询优化的信息及杀死一个查询。附加功能包括服务器性能统计,配置信息和调整技巧提示。
      mytop
      mytop就是類似top的MySQL監察工具。執行mytop後,它會每隔幾秒更新一次,而且也可以針對性地監察某一個資料庫。

    • 分析工具
      分析工具可以帮你自动化那些单调乏味的工作,如监测服务器,找出还可以优化和调优的功能区域。这些工具可以作为解决性能问题的良好开端。
      a、HackMySQL 工具(这个很出名,可惜已停止更新) 

      1、Mysqlreport
      2、Mysqlsla

      b、Maatkit分析工具
      一系列命令行工具的集合。

    • MySQL的辅助工具
      MySQL里有几个工具是为了消除MySQL提供的功能与它自带的命令行工具之间的隔阂。
      a、MySQL Proxy
      b、Dormando的MySQL代理

    *****************************************************************************************************************************************

    Mysql监控工具小集合

     

    Cacti

    • Cacti是 一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。它通过snmpget来获取数据,使用 RRDtool绘画图形,而且你完全可以不需要了解RRDtool复杂的参数。它提供了非常强大的数据和用户管理功能,可以指定每一个用户能查看树状结 构、host以及任何一张图,还可以与LDAP结合进行用户验证,同时也能自己增加模板,功能非常强大完善,界面友好。


     

     

    MysqlReport

    • MysqlReport 实际上只是一个Perl脚本,不过监控数据非常直观:


    • 各监控指标,官网有详细说明

    • Cacti监控上的Mysql数据就是参考它,搭建Apache+perl环境即可访问。缺点是只能进行时时监控,无图表和历史数据功能。

     

    phpMyAdmin

    • phpMyAdmin与 其说是Mysql的监控工具,不如说是Mysql的管理工具。相比一些Mysql客户端的GUI管理工具(如“MySQL Administrator”),phpMyAdmin是Web模式的。phpMyAdmin 是以PHP为基础,以Web-Base方式架构在网站主机上的MySQL的资料库管理工具。

    • phpMyAdmin的管理页面中包含了一个“状态”页面,列出了Mysql的详细状态信息,官网上有对应指标的详细说明


     

    MySQL Administartor

    • MySQL官方管理工具;
    • 有简单的监控功能。

    zabbix

    • zabbix是一个CS结构的监控系统,server端侦听在10051端口,agent侦听在10050端口。用户界面使用php开发的Web程序,数据存储在MySQL数据库中。

    • zabbix使用了客户端监控模式,与金山Cacti相似,zabbix也支持net-snmp的监控。
    • zabbix功能繁多,未进行详细研究。附上一张用zabbix监控CPU负载的监控图:


     

    MONyog

    • MONyog是一套客户端主动收集Mysql运行数据的服务程序。

    • 起初关注MONyog是因为它发现了一个项目上的问题:创建连接数过多。
      它默认监控的connections是指创建连接数的总量,而通常情况下我们只关注即时连接数。对于频繁创建和关闭连接的应该程序,关注总量则一眼可以看出问题。
      监控图预览:


    • 非常遗憾的是!MONyog是收费软件,从试用版的情况来看,没有找到定制功能。

     

    mytop

    • 类似Linux系统的top命令,专门监控Mysql的运行状态
    • 监控命令:

         1 mytop --host=10.20.192.109 --dbuser=root --password=123456


      运行结果:

         1 MySQL on 10.20.192.109 (5.0.81)                                                                       up 0+00:15:03 [11:51:51] 
         2 Queries: 35.0  qps: 0 Slow: 0.0 Se/In/Up/De(%): 00/00/00/00  qps now: 0  Slow qps: 0.0  Threads: 52 
         3 Key Efficiency: 96.4%  Bps in/out:   0.9/114.1   Now in/out:   8.4/ 1.2k
         4 Id      User         Host/IP         DB      Time    Cmd Query or State
         5 --      ----         -------         --      ----    --- ----------
         6 67      root vmvistcn261sp1u                    0  Query show full processlist
         7 6      root    vmxpcn270sp2                   36  Sleep
         8 ……

     

    mtop

    • 类似Linux系统的top命令,专门监控Mysql的运行状态
    • 监控命令:

         1 mtop --host=10.20.192.109 --dbuser=root --password=123456


      运行结果:

         1 10.20.192.109  mysqld 5.0.81 up 0 day(s),  0:05 hrs
         2 52 threads: 1 running, 0 cached. Queries/slow: 5/0 Cache Hit: 100.00%
         3 Opened tables: 0  RRN: 459  TLW: 0  SFJ: 0  SMP: 0  QPS: 0
         4 ID       USER     HOST             DB           TIME   COMMAND STATE        INFO
         5 28       root     10.20.212.39:522                     Query                show full processlist
         6 ……

     

    其它

    • 相关工具还有:
    • kontrollbase,始终没装起来;
    • mycat,装上去居然不知怎样用。
     
  • 相关阅读:
    《自动化测试工程师进阶之路》系列课程
    开发测试工程师系列课程
    AQA新加入手机自动化测试版块
    持续集成体系搭建服务
    开源自动化测试White与UIA
    TIB自动化测试快讯 自动化测试空间一周精选(201119)
    周六广州软件测试俱乐部圆桌会议3期
    Java白盒测试训练
    TIB自动化测试快讯 自动化测试空间一周精选(2012220)
    TIB自动化测试快讯 自动化测试空间一周精选(201226)
  • 原文地址:https://www.cnblogs.com/zhengah/p/4797205.html
Copyright © 2020-2023  润新知