• MySQL SQL优化


    --MySQL SQL优化

    -------------------2014/07/23

     几种order by的情况
        乍一看这个问题好像有点复杂,我们从最简单的case开始看起。

        用这个表来说明:(10w行数据)

     

    1、  最简单的order ―― order by索引字段

     从explain的结果来看(Extra列),这个语句并不作排序。因为字段a已经是有顺序的。就是按照索引a的顺序依次读pk的值(在这里是隐藏的系统列),一个个从聚簇索引的data中读入。

     

     2、  复杂一点 ―― order by 非索引字段

        这里Extra列显示一个Using filesort。这里的filesort并不是指字面上的“文件排序”,说的就是与上面一种情况相比,在Server层作了排序。至于是否使用文件,取决于排序过程中的内存是否足够,不够则需要临时文件。

     

        并不到此为止,我们细细想一下,server层要怎么作排序呢

        一个简单的想法是把表数据都读到内存,然后排序。读到内存当然可以想怎么整就怎么整。但是这个做法很耗费内存。需要占用与表一样大小的内存。

     

        另外一个做法,只读入字段b和其对应的主键id。可以想象为这两个字段构成的结构体,按照b的值作排序。排序完成后,按字段b的顺序依次取主键id,取得结果返回。

     

        实际上第二种作法就是这个例子中的实际执行过程。存放用于排序的字段值的结构我们称为sort_keys.

    至于order by b,c这样的语句,效果与order by b相同,可以简单理解为上面结构体多了一个字段。

     

     3、  字段函数排序

         有了上面的流程,这里就简单了,还是按顺序读入所有的字段b,只是sort_keys中存的是b的长度而已。

     

    4、Order by rand()

        按照自然想法, order by rand() 也可以仿照上面描述的做法,对于每一行,将生成的rand()的值放入sort_kyes里即可。但实际上上效果如下:

        Extra字段里面有一个Using temporary, 也就是说用到了临时表。那么Using temporary的时候操作流程是怎样的呢?
        a)   创建一个heap引擎的临时表,字段名为 ”” a b c d, 第一个字段为匿名;
        b)   将表tb中的数据按行读入到临时表中,同时给第一字段填入一个随机实数(0,1);
        c)   按照第一个字段排序,返回
        d)   查询完成删除临时表

        分析一下这个过程,由于把数据从InnoDB表里面读入临时表,则InnoDB表实际上也已经读入内存,在这个过程中,若不考虑内存不够时的写文件策略, 则内存中有两份表的全拷贝;另外多了从内存中将数据一一拷贝到临时表的过程。

     

    --order by rank 优化

    基本都是利用查询max(id) * rand()来随机获取数据来解决。

    例如:

    SELECT *
    FROM `table`
    WHERE id >= (SELECT FLOOR( MAX(id) * RAND()) FROM `table` )
    ORDER BY id LIMIT 1;

    可以优化加上MIN(id)的判断,因为没有加上MIN(id)的判断,结果有一些时间总是查询到表中的min前的一些行。

    SELECT * FROM `table`
    WHERE id >= (SELECT floor( RAND() * ((SELECT MAX(id) FROM `table`)-(SELECT MIN(id) FROM `table`)) + (SELECT MIN(id) FROM `table`)))
    ORDER BY id LIMIT 1;

    --优化弊端:如果数据值分布非常不均匀,那个得到的结果随机性有问题。例如:

    数据分布  1-----3----------------------40---------------------------2000000

    那么按照这个方式,应该有百分之九十几的几率都得到2000000的行。

  • 相关阅读:
    事件对象
    事件方法on()
    each()遍历
    链接式操作
    理解选取更新范围
    net3.5 无网络环境安装
    visual studio 2017 报错 无法下载安装文件。请检查Internet连接,然后重试
    删除数据恢复数据语句 Oracle
    sqlserver还原数据库(mdf与ldf文件如何还原到SQLserver数据库)
    sqlserver2012卸载
  • 原文地址:https://www.cnblogs.com/jackhub/p/3863834.html
Copyright © 2020-2023  润新知