• Rownum与Order by


    rownum是数据表的一个虚列,是随着select获取到的数据集合而依次生成的数据项目。借助rownum,很多复杂的SQL需求都得以解决。但是,rownum绝不是一个数据列,使用它的时候一定要注意rownum的生成原理和特性。本篇就从rownum与order by结合,谈使用rownum的一个注意点。

    简单的说,rownum是在使用select查询的时候,自动生成的一串顺序号。在每返回一条数据结果的时候,rownum就自动加一。rownum可以使用在select后的列表中,也可以使用在where条件后。Oracle中没有top n命令,通常都是使用rownum来控制返回数据的条数。

    SQL> select count(*) from emp;

     COUNT(*)

    ----------

           14

    SQL> select * from emp where rownum<3; //使用rownum来限制条数

    EMPNO ENAME     JOB        MGR HIREDATE         SAL     COMM DEPTNO

    ----- ---------- --------- ----- ----------- --------- --------- ------

     7369 SMITH     CLERK     7902 1980-12-17    800.00              20

     7499 ALLEN     SALESMAN  7698 1981-2-20    1600.00   300.00    30

    rownum与>符号

    我们大都知道一个原则,就是rownum在where后面的时候,要慎用>符号。当使用rownum>XXX的时候,返回结果是错误的。

    SQL> select * from emp where rownum>3;

    EMPNO ENAME     JOB        MGR HIREDATE         SAL     COMM DEPTNO

    ----- ---------- --------- ----- ----------- --------- --------- ------

    明明数据表中有数据,但是使用rownum>3的条件时,却是一条也无法搜到。刚刚接触的时候,觉得很诡异。让我们一起看看执行计划。

    SQL> explain plan for select * from emp where rownum>3;

    Explained

    SQL> select * from table(dbms_xplan.display);

    PLAN_TABLE_OUTPUT

    ------------------------------------------

    Plan hash value: 2063368778

    ----------------------------------------------------------------------------

    | Id | Operation          | Name | Rows | Bytes | Cost (%CPU)| Time    |

    ----------------------------------------------------------------------------

    |  0 | SELECT STATEMENT   |     |   14 |  518 |    3  (0)| 00:00:01 |

    |  1 | COUNT             |     |      |      |           |         |

    |* 2 |  FILTER           |     |      |      |           |         |

    |  3 |   TABLE ACCESS FULL| EMP |   14 |  518 |    3  (0)| 00:00:01 |

    ----------------------------------------------------------------------------

    Predicate Information (identified by operation id):

    ---------------------------------------------------

      2 - filter(ROWNUM>3)

    15 rows selected

    注意,Oracle生成的执行计划比较简单。对EMP进行全表扫描,将每条记录进行筛选(filter操作),符合条件的记录才会最后返回给前台。筛选filter的条件就是rownum>3。

    解释这个现象,还要从rownum的原理入手。rownum并不是一列事先写好的数值,而是随着select的结果集而动态推进的一个数据序列。rownum初始为1,有一条返回的时候,rownum推进数1。解释刚刚的rownum>3,开始有一条数据返回的时候,rownum为1。但是应用filter条件的时候,因为没有满足rownum>1的条件,所以该行数据被筛去,rownum没有被推进1。这时候第二条结果来,同样不会推进rownum,这样就是一个数据结果都没有。

    根据这个思路,我们可以让rownum>XX起效果。

    SQL> select count(*) from emp where rownum>0;

    //出现结果集合

     COUNT(*)

    ----------

           14

    当rownum为1初始值的时候,满足了filter的条件,所以能够顺利推进rownum取值。

    SQL> explain plan for select * from emp where rownum>0;

    Explained

    SQL> select * from table(dbms_xplan.display);

    PLAN_TABLE_OUTPUT

    --------------------------------------------------------------------------------

    Plan hash value: 2063368778

    ----------------------------------------------------------------------------

    | Id | Operation          | Name | Rows | Bytes | Cost (%CPU)| Time    |

    ----------------------------------------------------------------------------

    |  0 | SELECT STATEMENT   |     |   14 |  518 |    3  (0)| 00:00:01 |

    |  1 | COUNT             |     |      |      |           |         |

    |* 2 |  FILTER           |     |      |      |           |         |

    |  3 |   TABLE ACCESS FULL| EMP |   14 |  518 |    3  (0)| 00:00:01 |

    ----------------------------------------------------------------------------

    Predicate Information (identified by operation id):

    ---------------------------------------------------

      2 - filter(ROWNUM>0)

    15 rows selected

    rownum与order by

    我们回到本篇的正题,关于rownum与order by。我们有时候遇到这样的需求:“列出按XXX从高到低(逆序)的前五行”。排序+控制显示行数,就是order by和rownum结合的场景。

    首先,我们构建一下实验环境。

    SQL> conn scott/tiger@orcl;

    Connected to Oracle Database 10g Enterprise Edition Release 10.2.0.1.0

    Connected as scott

    SQL> create table t as select rownum as row_num, object_name from user_objects;

    Table created

    SQL> select * from t;

      ROW_NUM OBJECT_NAME

    ---------- --------------------------------------------------------------------------------

            1 PK_DEPT

            2 DEPT

    (篇幅原因,省略部分内容…)

           20 SOU

           21 TAR

    21 rows selected

    //收集统计量

    SQL> exec dbms_stats.gather_table_stats(user,'T',cascade => true);

    PL/SQL procedure successfully completed

    首先,我们实验一条SQL,也是笔者当年的一种写法(惭愧ing…)。

    SQL> col object_name format a20;

    SQL> select * from t where rownum<5 order by row_num desc;

      ROW_NUM OBJECT_NAME

    ---------- --------------------

            4 PK_EMP

            3 EMP

            2 DEPT

            1 PK_DEPT

    结果显然是不正确的!排序是做到了,但是是在找到的几个数据中进行的排序。我们看看执行计划。

    SQL> explain plan for select * from t where rownum<5 order by row_num desc;

    Explained

    SQL> select * from table(dbms_xplan.display);

    PLAN_TABLE_OUTPUT

    --------------------------------------------------------------------------------

    Plan hash value: 846588679

    ----------------------------------------------------------------------------

    | Id | Operation          | Name | Rows | Bytes | Cost (%CPU)| Time    |

    ----------------------------------------------------------------------------

    |  0 | SELECT STATEMENT   |     |    4 |   52 |    3  (0)| 00:00:01 |

    |  1 | SORT ORDER BY     |     |    4 |   52 |    3  (0)| 00:00:01 |

    |* 2 |  COUNT STOPKEY    |     |      |      |           |         |

    |  3 |   TABLE ACCESS FULL| T   |   21 |  273 |    3  (0)| 00:00:01 |

    ----------------------------------------------------------------------------

    Predicate Information (identified by operation id):

    ---------------------------------------------------

      2 - filter(ROWNUM<5)

    15 rows selected

    这里,我们看到了一个操作“COUNT STOPKEY”,应该是由于rownum而产生的。根据Oracle官方文档的解释,如下:

    Count operation where the number of rows returned is limited by

    the ROWNUM expression in the WHERE clause.

    含义是,这是一个计数操作。当在where子句中使用rownum的时候,会引入这个操作。这个操作的作用就是限制返回的行数,当返回数量达到rownum的限制(filter)的时候,就结束操作,不会去管剩下的数据。

    这样的解释就对了,我们的数据表T里面虽然需要进行全排序才能确定最大的四个row_num行,但是当前SQL的执行计划是“选取四行,在排序”。这样显然不是我们的需要了。

    那么,如何在不改变SQL结构的情况下,获取到正确的结果呢?

    那么,我们是不是要放弃这个SQL结构了呢?笔者从网络上获取一个方案,如果将order by后面字段为主键字段,这种SQL结构是可以返回正确的结果的。下面实验

     

     

    SQL> alter table t add constraint pk_t primary key (row_num);//加主键

     

    Table altered

     

    SQL> exec dbms_stats.gather_table_stats(user,'T',cascade => true);//重新收集统计量

     

    PL/SQL procedure successfully completed

     

     

    SQL> select * from t where rownum<5 order by row_num desc;

     

      ROW_NUM OBJECT_NAME

    ---------- --------------------------------------------------------------------------------

           21 TAR

           20 SOU

           19 T

           18 PCK_IWB_UNI_CLOSING

     

    //返回了正确的结果!SQL语句没有变化!

     

    按照主键排序,就没有问题了。我们检查一下这里面的执行计划。

     

     

    SQL> explain plan for select * from t where rownum<5 order by row_num desc;

     

    Explained

     

    SQL> select * from table(dbms_xplan.display);

     

    PLAN_TABLE_OUTPUT

    --------------------------------------------------------------------------------

    Plan hash value: 949946574

    --------------------------------------------------------------------------------

    | Id | Operation                   | Name | Rows | Bytes | Cost (%CPU)| Time

    --------------------------------------------------------------------------------

    |  0 | SELECT STATEMENT            |     |    4 |   52 |    2  (0)| 00:00

    |* 1 | COUNT STOPKEY              |     |      |      |           |

    |  2 |  TABLE ACCESS BY INDEX ROWID| T   |   21 |  273 |    2  (0)| 00:00

    |  3 |   INDEX FULL SCAN DESCENDING| PK_T|    4 |      |    1  (0)| 00:00

    --------------------------------------------------------------------------------

    Predicate Information (identified by operation id):

    ---------------------------------------------------

      1 - filter(ROWNUM<5)

     

    15 rows selected

     

     

    这里的执行计划是这样,order by + 主键之后。CBO选择了读取数据表T的主键PK_T所对应的索引PK_T。索引的叶节点都是有序的,按照DESCENDING逆序读取索引树,取到数据表行rowid的列表。注意,这个rowid的列表是按照row_num逆序的顺序确立的列表。在第2步中,根据rowid列表访问数据表T,获取数据行(此时也是按照row_num逆序的)。最后从第1步的COUNT STOPKEY拦截住四行数据。

     

     

    这种方法,借助了两个Oracle特性:其一是主键索引有序的特性,Order by的排序借助已经排好的索引完成;其二是CBO优化器,探索出这样的执行路径。

     

     

    一般情况下,还是不要书写这样的SQL。对rownum,标准的做法是将其和order by分开进行处理。借助查询子句,可以获取到正确的结果。

     

    //已经取消了主键;

    SQL> desc t;

    Name       Type         Nullable Default Comments

    ----------- ------------- -------- ------- --------

    ROW_NUM    NUMBER       Y                        

    OBJECT_NAME VARCHAR2(128) Y         

     

    //将order by单独进行处理,明确表示:先排序,后rownum;

    SQL> select * from (select * from t order by row_num desc) where rownum<5;

     

      ROW_NUM OBJECT_NAME

    ---------- --------------------------------------------------------------------------------

           21 TAR

           20 SOU

           19 T

           18 PCK_IWB_UNI_CLOSING

     

     

    这种语法方法,可以在不受order by条件的情况下,也能实现需求。我们一起来看看执行计划。

     

     

    SQL> explain plan for select * from (select * from t order by row_num desc) where rownum<5;

     

    Explained

     

    SQL> select * from table(dbms_xplan.display);

     

    PLAN_TABLE_OUTPUT

    --------------------------------------------------------------------------------

    Plan hash value: 3299198703

    --------------------------------------------------------------------------------

    | Id | Operation              | Name | Rows | Bytes | Cost (%CPU)| Time    |

    --------------------------------------------------------------------------------

    |  0 | SELECT STATEMENT       |     |    4 |  316 |    3  (0)| 00:00:01 |

    |* 1 | COUNT STOPKEY         |     |      |      |           |         |

    |  2 |  VIEW                 |     |   21 | 1659 |    3  (0)| 00:00:01 |

    |* 3 |   SORT ORDER BY STOPKEY|     |   21 |  273 |    3  (0)| 00:00:01 |

    |  4 |    TABLE ACCESS FULL  | T   |   21 |  273 |    3  (0)| 00:00:01 |

    --------------------------------------------------------------------------------

    Predicate Information (identified by operation id):

    ---------------------------------------------------

      1 - filter(ROWNUM<5)

      3 - filter(ROWNUM<5)

     

    17 rows selected

     

     

    这是一个值得我们研究的执行计划,里面有一些有意思的内容。

     

    首先,我们看到排序order by转化为操作“SORT ORDER BY STOPKEY”。这个操作是Oracle优化SQL的一个表现。在这个步骤中,加入了filter(rownum<5)。这个操作在view操作内部。说明,虽然我们将rownum<5写在子查询的外面,但Oracle还是将这个条件渗透到了视图化操作中。

     

    SORT ORDER BY STOPKEY操作经常能够在rownum+orderby的嵌套查询中看到。这个操作是Oracle处理rownum+orderby的一种优化算法。这个操作本质上很像算法中的快排序。首先是将数据集合分成两个部分(A和B),保证A中排序值都不小于B中排序值。在对A集合分割成两部分,依次进行。数据集B和其他那些小数据集合就不进行排序了。这样操作,只进行较少的排序次数,就可以最快的获取全局最大(或者最小)的几个数据。

     

    当然,SORT ORDER BY STOPKEY操作在我们这个SQL中应用是没有问题的。但是并不代表没有缺陷和陷阱。rownum和order by使用最多的场合是分页,使用SORT ORDER BY STOPKEY如果不当,有可能引发其他一些功能上的缺陷。这个问题我们以后找机会谈。

     

    其次一个关注点就是VIEW操作。显然,对嵌套的查询,Oracle使用了VIEW操作,将查询结果作为一个视图,提供给外层操作使用。

     

     

    最后,就是外层依然使用了count stopkey的操作,对结果集合进行拦截。因为在内层的查询中已经进行排序+拦截操作,可以保证结果是正确的。

     

  • 相关阅读:
    idou老师教你学Istio 08: 调用链埋点是否真的“零修改”?
    idou老师教你学Istio 07: 如何用istio实现请求超时管理
    idou老师教你学Istio06: 如何用istio实现流量迁移
    Strusts2笔记8--文件的上传和下载
    Strusts2笔记7--国际化
    Strusts2笔记6--拦截器
    Strusts2笔记5--数据验证
    Strusts2笔记4--类型转换器
    Struts2笔记3--获取ServletAPI和OGNL与值栈
    Struts2笔记2--动态方法调用和Action接收请求方式
  • 原文地址:https://www.cnblogs.com/dongxiaoguang/p/3031481.html
Copyright © 2020-2023  润新知