• 【未解决】mysql分页性能问题深究


     大佬们请教一个Mysql问题:现在有一个数据分页的功能
    【1】前提如下:
    (1.1)数据量大概有2亿条左右
    (1.2)2个查询条件,每页100条记录,不显示数据总量和总页数
    (1.3)正常情况下都ok,因为每次就是 limit 100,又不显示数据总量和总页数
    并且还使用了 id>上一次分页数据最大的ID 这种方法避免深度翻页的问题,效果比较理想,速度毫秒级
    【2】SQL

    select * from Log
    where     filetype ='文件类型' 
    and observetime >= '开始时间' 
    and observetime <= '结束时间' 
              and id > 上页数据最大的id
    order by observetime desc
    LIMIT 100

    id 为主键、递增,filetype 、observetime  都是正常的二级索引


    【3】核心问题现象
    》正常情况 between observetime 的命中行数非常大
    》当所有条件正常,并查询结果集大于100的时候,limit 100正常,速度500ms,非常快。
    Q:(3.1)当某一个条件值(比如filetype写个不存在的类型时)使得筛选结果集为空,则非常慢几十秒
    Q:(3.2)当筛选结果集不满足100时,则非常慢几十秒(比如按照时间+文件类型查询的结果只有1条记录,小于limit 100,也会很慢,几十秒都没结果 )

    原理
    如果符合条件的数据足够多,则limit100的过程就是,从符合条件的第一条数据开始往后查,当查够100条数据,则立刻返回。
    如果符合条件的数据不够,则会从符合条件的第一条数据开始往后扫描,一条条的查,直到把整个表扫描完仍然不够100条,才会返回结果(不够100条)。

     

    解决方案:
    方案一:
    查出满足条件的数据一共有多少条,按照条数处理,最后一个Limit的数量剩余满足条件的数量。
    但是,如果查询条件没有索引,统计总共有多少条的将会是个慢查询。

    方案二:
    类似滑动窗口的方式,每次对id查询idStart+1000=idEnd范围内的符合条件的数据。凑够1000条的时候返回,但是业务实现就会更加复杂。

    参考:

    https://blog.csdn.net/u014440417/article/details/80352550



  • 相关阅读:
    [bzoj 2460]线性基+贪心+证明过程
    [Wc2011] Xor
    [BZOJ2844]线性基+xor本质不同第K大
    洛谷3857 [TJOI2008]彩灯
    HDU3949 异或线性基
    hdu3062 party --2-sat
    KM算法详解+模板
    Hopcroft-Karp算法
    bzoj 1135: [POI2009]Lyz
    hall定理的证明
  • 原文地址:https://www.cnblogs.com/gered/p/12516082.html
Copyright © 2020-2023  润新知