• mysql慢查询问题


    【问题现象】

    使用sphinx支持倒排索引,但sphinx从mysql查询源数据的时候,查询的记录数才几万条,但查询的速度非常慢,大概要4~5分钟左右

    【处理过程】

    1)explain

    首先怀疑索引没有建好,于是使用explain查看查询计划,结果如下:

    从explain的结果来看,整个语句的索引设计是没有问题的,除了第一个表因为业务需要进行整表扫描外,其它的表都是通过索引访问

    2)show processlist;

    explain看不出问题,那到底慢在哪里呢?

    于是想到了使用 show processlist查看sql语句执行状态,查询结果如下:

    发现很长一段时间,查询都处在 “ Sending data ”状态

    查询一下“Sending data”状态的含义,原来这个状态的名称很具有误导性,所谓的“Sending data”并不是单纯的发送数据,而是包括“收集 + 发送 数据”。

    这里的关键是为什么要收集数据,原因在于: mysql使用“索引”完成查询结束后,mysql得到了一堆的行id,如果有的列并不在索引中,mysql需要重新到“数据行”上将需要返回的数据读取出来返回个客户端。

    3)show profile

    为了进一步验证查询的时间分布,于是使用了show profile命令来查看详细的时间分布

    首先打开配置:set profiling=on; 
    执行完查询后,使用show profiles查看query id; 
    使用show profile for query query_id查看详细信息; 

    结果如下:

    从结果可以看出,Sending data的状态执行了216s

    4)排查对比 

    经过以上步骤,已经确定查询慢是因为大量的时间耗费在了Sending data状态上,结合Sending data的定义,将目标聚焦在查询语句的 返回列 上面

    经过一 一排查,最后定为到一个description的列上,这个列的设计为:`description` varchar(8000) DEFAULT NULL COMMENT '游戏描述',

    于是采取了对比的方法,看看“ 不返回 description的结果”如何。show profile的结果如下:

    可以看出,不返回description的时候,查询时间只需要15s,返回的时候,需要216s, 两者相差15倍

    【原理研究】

    至此问题已经明确,但原理上我们还需要继续探究。

    这篇淘宝的文章很好的解释了相关原理: innodb使用大字段text,blob的一些优化建议

    具体对应到本文的这个实例,我们使用show table status来查看表的相关信息:

    可以看到,平均一行大约1.5K,Innodb每页16K,除去一些数据结构空间和保留空间,大概1/10的行需要采用溢出存储(即将数据存放在另外的页中),一旦采用了这种方式存储,返回数据的时候 本来是顺序读取的数据,就变成了随机读取 了,所以导致性能急剧下降。

    【解决方法】

    找到了问题的根本原因,解决方法也就不难了。有几种方法:

    1) 查询时去掉description的查询 ,但这受限于业务的实现,可能需要业务做较大调整

    2) 增大Innodb buffer pool ,但由于Innodb buffer pool会根据查询进行自动调整,因此如果gm_platform_info不是热门表,作用也不是很明显

    3) 表结构优化 ,将descripion拆分到另外的表,这个改动较大,需要已有业务配合修改

  • 相关阅读:
    spring多个数据源配置
    BZOJ 1878: [SDOI2009]HH的项链 离线树状数组
    Codeforces Round #321 (Div. 2) E. Kefa and Watch 线段树hash
    Codeforces Round #321 (Div. 2) D. Kefa and Dishes 状压dp
    Codeforces Round #321 (Div. 2) C. Kefa and Park dfs
    Codeforces Round #321 (Div. 2) B. Kefa and Company 二分
    Codeforces Round #321 (Div. 2) A. Kefa and First Steps 水题
    Codeforces Round #268 (Div. 1) B. Two Sets 暴力
    Codeforces Round #268 (Div. 1) A. 24 Game 构造
    2015北京网络赛 F Couple Trees 暴力倍增
  • 原文地址:https://www.cnblogs.com/bethal/p/5320530.html
Copyright © 2020-2023  润新知