• 对于Oracle中分页排序查询语句执行效率的比较分析


    转自:http://bbs.csdn.net/topics/370033478

    对于Oracle中分页排序查询语句执行效率的比较分析
    作者:lzgame
    在工作中我们经常遇到需要在Oracle中进行分页、排序、查询的组合SQL语句,举例来说,通常我们会这样写:(假定表test中id是主键,并且id从1开始没有间断顺序排列)

    1. SELECT * FROM (
          SELECT id,a1,a2,a3,a4,a5,a6,a7,a8,a9, ROWNUM AS rn FROM test
          WHERE a1 LIKE '%%' AND ROWNUM<=1000000
          ORDER BY id
        ) t2 WHERE  rn>=999990;

    但是由于ROWNUM是一个伪列,Oracle会首先查询满足ROWNUM<=1000000条件的记录,然后再对得到的记录进行排序,这就导致我 们并不能获得期望的排序结果。本应得到id为999990-1000000,实际上却得到了一些无规律并令人困惑的id结果。于是我做了以下改进;

    2. SELECT * FROM (
          SELECT id,a1,a2,a3,a4,a5,a6,a7,a8,a9, ROWNUM AS rn FROM (
            SELECT id,a1,a2,a3,a4,a5,a6,a7,a8,a9 FROM test
            WHERE a1 LIKE '%%'
            ORDER BY id
          ) t1 WHERE  ROWNUM<=1000000
        ) t2 WHERE  rn>=999990;

    显然,通过经典的三层分页排序查询结构,我确实得到了想要的结果。但是在数据量很大的数据表中,由于需要首先取得排序后的全部数据集,导致了执行效率的极 速降低,直至无法忍受。为了提高性能,我在网上查阅了很多资料,其中有一种说法是:当排序条件使用的关键字是主键或索引,并在WHERE子句中先于 ROWNUM使用过该关键字时,我们就可以采用1号语句获得想要的结果了,于是我改写了1号语句并进行了测试:

    3. SELECT * FROM (
          SELECT id,a1,a2,a3,a4,a5,a6,a7,a8,a9, ROWNUM AS rn FROM test
          WHERE id>=0 AND ROWNUM<=1000000
          ORDER BY id
        ) t2 WHERE  rn>=999990;

    我惊喜的发现确实有效,我成功了,但惊喜并没有持续多久,因为当我把查询条件“a1 LIKE '%%'”也放回WHERE语句中时,一切又恢复了原状。 于是新一轮的资料查找又开始了。但网上的资料似乎始终没有脱离以上3种语句的范围,在漫长的查找后我快要放弃了,忽然在一条论坛回复中我看见了新的曙光: 用WHERE…IN语句。我立刻改写出了4号语句:

    4.SELECT * FROM test 
       WHERE id IN (
          SELECT id FROM (
            SELECT id, ROWNUM AS rn FROM (
              SELECT id FROM test
              WHERE a1 LIKE '%%'
              ORDER BY id
            ) t1 WHERE  ROWNUM<=1000000
          ) t2 WHERE  rn>=999990 
        );

    这条语句通过减少最内层SELECT语句获得的数据量(仅保留必须的id),极大地提高了查询性能。但是WHERE…IN语句由于需要遍历数据表,也就是 说在本语句中每查询出一个id,Oracle就需要在最后的WHERE…IN语句搜索一次并把它挑出来,所以WHERE…IN语句本身的效率并不高,本语 句依然存在着效率提升的空间,那么该怎么做呢?答案就是ROWID伪列。什么是ROWID伪列呢?用最简单的话说,ROWID就是该数据行的绝对物理地 址,在百度百科上我们可以查到索引就是通过ROWID来记录数据位置的。于是我们的WHERE…IN语句不再需要遍历数据表,不再需要通过一次次的检索来 收集数据了,因为它得到了最终数据的直接物理地址。从这个意义上讲,WHERE…IN语句成为了最高效的语句。
    语句改写如下:

    5.SELECT * FROM test 
       WHERE ROWID IN (
          SELECT rid FROM (
            SELECT rid, ROWNUM AS rn FROM (
              SELECT ROWID rid FROM test
              WHERE a1 LIKE '%%'
              ORDER BY id
            ) t1 WHERE  ROWNUM<=1000000
          ) t2 WHERE  rn>=999990 
        );

    令人困惑的是,虽然5号语句检索出来的数据范围是正确的,但是最终的顺序是被打乱的,也就是说id虽然范围是在999990-1000000中,但相互间是没有顺序的,当然到这一步已经没有什么难度了,于是我写出了最终的语句:

    6. SELECT * FROM test 
       WHERE ROWID IN (
          SELECT rid FROM (
            SELECT rid, ROWNUM AS rn FROM (
              SELECT ROWID rid FROM test
              WHERE a1 LIKE '%%'
              ORDER BY id
            ) t1 WHERE  ROWNUM<=1000000
          ) t2 WHERE  rn>=999990 
        ) ORDER BY id;
    至此一切OK,为了对提升的效率有个直观的理解,我又对1、2、4、6号语句进行了测试(测试数据表test共1011003条记录),各测试三次去平均值,结果如下:

    1号语句(两层嵌套,而且结果并不符合预期):21.98秒
    2号语句(三层嵌套,结果符合预期,但实在是太慢了。。。):48.62秒
    4号语句(采用WHERE id IN …,结果符合预期,效率极大提高):11.49秒
    6号语句(采用WHERE ROWID IN …,结果符合预期,效率最高):5.98秒

    以上是我对Oracle中分页排序查询语句执行效率的一点理解,如果有什么错误的地方请大家指正,谢谢!

  • 相关阅读:
    安装 log.io 实时监控 php_error 日志
    macOS安装Solr并索引MySQL
    如何创建一个GitLab Web Hooks?
    在macOS Sierra 10.12搭建PHP开发环境
    在MySQL中,如何计算一组数据的中位数?
    mongodb 学习笔记
    percona教程:MySQL GROUP_CONCAT的使用
    MySQL GROUP_CONCAT函数使用示例:如何用一个SQL查询出一个班级各个学科第N名是谁?
    EF| CodeFirst 代码先行
    最经典25本Python编程开发电子书精粹
  • 原文地址:https://www.cnblogs.com/lijiews/p/lj201312241713.html
Copyright © 2020-2023  润新知