• Oracle执行计划 Mr


    执行计划就是oracle只执行query的时候所选择的路径
    查询的过程大致可以分为7个步骤
    【1】 语法的Syntactic   检查查询的语法
    【2】 语意的Semantic    检查对象是否存在或者是否可以被访问,比如说有无此表,有无权限访问等
    【3】 视图合并
    【4】 语句转换          重写查询,转换一些适当的复杂的构造到简单的(比如子查询合并,in/or转义)
    【5】 最优化            确定最佳的访问路径,基于规则的查询,数据库根据表和索引等定义信息,按照一定的规则来产生执行计划;基于代价的查询,数据库根据搜集的表和索引的数据的统计信息(通过analyze 命令或者使用dbms_stats包来搜集)综合来决定选取一个数据库认为最优的执行计划(实际上不一定最优)。   
    【6】 查询评估计划生成  
    【7】 查询评估计划执行


    第一步骤-第六步骤是由解析处理,第七步骤是执行语句
    执行计划由解释器产生,一旦路径在上面的部分被确定,语句本身和访问路径江北存储在缓存库中,我们使用一个基于散列的陈述,存储这些查询,当我们在库缓存中查询一条语句的时候,我们会通过hash算法从库缓存中,寻找这条语句对应的值,这个访问路径将在重解析的时候被使用
    --待翻译

    专业术语
    Row Source(行源):用在查询中,由上一操作返回的符合条件的行的集合,即可以是表的全部行数据的集合;也可以是表的部分行数据的集合;也可以为对上2个row source进行连接操作(如join连接)后得到的行数据集合。
    Predicate(谓词):一个查询中的WHERE限制条件
    Driving Table(驱动表):该表又称为外层表(OUTER TABLE)。这个概念用于嵌套与HASH连接中。如果该row source返回较多的行数据,则对所有的后续操作有负面影响。注意此处虽然翻译为驱动表,但实际上翻译为驱动行源(driving row source)更为确切。一般说来,是应用查询的限制条件后,返回较少行源的表作为驱动表,所以如果一个大表在WHERE条件有有限制条件(如等值限 制),则该大表作为驱动表也是合适的,所以并不是只有较小的表可以作为驱动表,正确说法应该为应用查询的限制条件后,返回较少行源的表作为驱动表。在执行 计划中,应该为靠上的那个row source,后面会给出具体说明。在我们后面的描述中,一般将该表称为连接操作的row source 1.
    Probed Table(被探查表):该表又称为内层表(INNER TABLE)。在我们从驱动表中得到具体一行的数据后,在该表中寻找符合连接条件的行。所以该表应当为大表(实际上应该为返回较大row source的表)且相应的列上应该有索引。在我们后面的描述中,一般将该表称为连接操作的row source 2.

    Oracle是怎样访问数据的
    物理层面上oracle读数据块,最小的数据数量是一个数据块,最大受操作系统的限制,Oracle所有对数据的操作和空间分配,实际上都是针对数据块Block的操作。我们从数据表中搜索出一行,实际中Oracle就会从内存缓冲区(或者硬盘)中读取到该行所在的数据块,再返回这数据块上的指定数据行。Oracle无论是在缓冲区,还是在硬盘,进行数据操作的虽小单位也就是数据块,逻辑层面上oracle通过下面的方式进行读取访问    
    1 全表扫描
    2 索引扫描
    3 伪列查找

    执行计划层次
    简单的执行计划

    Query Plan
    -----------------------------------------
    SELECT STATEMENT     [CHOOSE] Cost=1234
      TABLE ACCESS FULL LARGE [:Q65001] [ANALYZED]

    最右边最上边的执行计划将被执行,在这个例子中TABLE ACCESS FULL LARGE是第一个操作这个语句将意味着我们正在做一个大表的全表扫描,当这个操作完成之后将得到的行源将传递给下一级查询进行处理,在这个例子中是顶部的 SELECT STATEMENT


    [choose] 是一个查询的参数optimizer_goal 的一个指示,这并不一定表明该计划实际上已经使用了这个目标,只有一种验证的方式 cost= 执行计划的一部分,下面的查询例子表明使用了CBO查询方式,因为一个cost域有一个值

    SELECT STATEMENT     [CHOOSE] Cost=1234

    相反的下面的执行计划表明使用了RBO,因为cost的域是空的

    SELECT STATEMENT     [CHOOSE] Cost=

    cost字段表明,执行计划是基于成本去执行,不同语句的成本并不是只记得对比
    [:Q65001]  这个字段表明数据库是执行的sql启用了并行查询。
    [ANALYZED] 表明当前问题的对象,被分析过,并且当前的统计数据被CBO使用。

    详细的访问方法:
    1) 全表扫描(Full Table Scans, FTS)
    为实现全表扫描,Oracle读取表中所有的行,并检查每一行是否满足语句的WHERE限制条件一个多块读操作可以使一次I/O能读取多块数据(db_block_multiblock_read_count参数设定),而不是只读取一个数据块,这极大的减 少了I/O总次数,提高了系统的吞吐量,所以利用多块读的方法可以十分高效地实现全表扫描,而且只有在全表扫描的情况下才能使用多块读操作。在这种访问模 式下,每个数据块只被读一次。
    使用FTS的前提条件:在较大的表上不建议使用全表扫描,除非取出数据的比较多,超过总量的5% —— 10%,或你想使用并行查询功能时。
      使用全表扫描的例子: 

    SQL> explain plan for select * from dual;
      Query Plan
      -----------------------------------------
      SELECT STATEMENT[CHOOSE] Cost=
      TABLE ACCESS FULL DUAL

    2)索引扫描
    我们先通过index查找到数据对应的rowid值(对于非唯一索引可能返回多个rowid值),然后根据rowid直接从表中得到具体的数据,这 种查找方式称为索引扫描或索引查(index lookup)。一个rowid唯一的表示一行数据,该行对应的数据块是通过一次i/o得到的,在此情况下该次i/o只会读取一个数据库块。在索引中,除了存储每个索引的值外,索引还存储具有此值的行对应的ROWID值。

            索引扫描可以由2步组成:

         (1) 扫描索引得到对应的rowid值。
      (2) 通过找到的rowid从表中读出具体的数据。
      每步都是单独的一次I/O,但是对于索引,由于经常使用,绝大多数都已经CACHE到内存中,所以第1步的 I/O经常是逻辑I/O,即数据可以从内存中得到。但是对于第2步来说,如果表比较大,则其数据不可能全在内存中,所以其I/O很有可能是物理I/O,这 是一个机械操作,相对逻辑I/O来说,是极其费时间的。所以如果多大表进行索引扫描,取出的数据如果大于总量的5% —— 10%,使用索引扫描会效率下降很多。如下列所示:

     SQL> explain plan for select empno, ename from emp where empno=10;
      Query Plan
      ------------------------------------
      SELECT STATEMENT [CHOOSE] Cost=1
      TABLE ACCESS BY ROWID EMP [ANALYZED]
      INDEX UNIQUE SCAN EMP_I1

      但是如果查询的数据能全在索引中找到,就可以避免进行第2步操作,避免了不必要的I/O,此时即使通过索引扫描取出的数据比较多,效率还是很高的

    SQL> explain plan for select empno from emp where empno=10;-- 只查询empno列值
      Query Plan
      ------------------------------------
      SELECT STATEMENT [CHOOSE] Cost=1
      INDEX UNIQUE SCAN EMP_I1

      进一步讲,如果sql语句中对索引列进行排序,因为索引已经预先排序好了,所以在执行计划中不需要再对索引列进行排序

    SQL> explain plan for select empno, ename from emp
      where empno > 7876 order by empno;
      Query Plan
      --------------------------------------------------------------------------------
      SELECT STATEMENT[CHOOSE] Cost=1
      TABLE ACCESS BY ROWID EMP [ANALYZED]
      INDEX RANGE SCAN EMP_I1 [ANALYZED]

      从这个例子中可以看到:因为索引是已经排序了的,所以将按照索引的顺序查询出符合条件的行,因此避免了进一步排序操作。
      根据索引的类型与where限制条件的不同,有4种类型的索引扫描:
      索引唯一扫描(index unique scan)
      索引范围扫描(index range scan)
      索引全扫描(index full scan)
      索引快速扫描(index fast full scan)

      (1) 索引唯一扫描(index unique scan)
      通过唯一索引查找一个数值经常返回单个ROWID.如果存在UNIQUE 或PRIMARY KEY 约束(它保证了语句只存取单行)的话,Oracle经常实现唯一性扫描。
      使用唯一性约束的例子:

    SQL> explain plan for
      select empno,ename from emp where empno=10;
      Query Plan
      ------------------------------------
      SELECT STATEMENT [CHOOSE] Cost=1
      TABLE ACCESS BY ROWID EMP [ANALYZED]
      INDEX UNIQUE SCAN EMP_I1

      (2) 索引范围扫描(index range scan)
      使用一个索引存取多行数据,在唯一索引上使用索引范围扫描的典型情况下是在谓词(where限制条件)中使用了范围操作符(如>、<、<>、>=、<=、between)
      使用索引范围扫描的例子:
      

    SQL> explain plan for select empno,ename from emp
      where empno > 7876 order by empno;
      Query Plan
      --------------------------------------------------------------------------------
      SELECT STATEMENT[CHOOSE] Cost=1
      TABLE ACCESS BY ROWID EMP [ANALYZED]
      INDEX RANGE SCAN EMP_I1 [ANALYZED]

      在非唯一索引上,谓词col = 5可能返回多行数据,所以在非唯一索引上都使用索引范围扫描。
      使用index rang scan的3种情况:
      (a) 在唯一索引列上使用了range操作符(> < <> >= <= between)
      (b) 在组合索引上,只使用部分列进行查询,导致查询出多行
      (c) 对非唯一索引列上进行的任何查询。

      (3) 索引全扫描(index full scan)
      与全表扫描对应,也有相应的全索引扫描。而且此时查询出的数据都必须从索引中可以直接得到。
      全索引扫描的例子:

     An Index full scan will not perform single block i/o''s and so it may prove to be inefficient.
      e.g.
      Index BE_IX is a concatenated index on big_emp (empno, ename)
      SQL> explain plan for select empno, ename from big_emp order by empno,ename;
      Query Plan
      --------------------------------------------------------------------------------
      SELECT STATEMENT[CHOOSE] Cost=26
          INDEX FULL SCAN BE_IX [ANALYZED]

    (4) 索引快速扫描(index fast full scan)
      扫描索引中的所有的数据块,与 index full scan很类似,但是一个显著的区别就是它不对查询出的数据进行排序,即数据不是以排序顺序被返回。在这种存取方法中,可以使用多块读功能,也可以使用并行读入,以便获得最大吞吐量与缩短执行时间。
      索引快速扫描的例子:
      BE_IX索引是一个多列索引: big_emp (empno,ename)
      

    SQL> explain plan for select empno,ename from big_emp;
      Query Plan
      ------------------------------------------
      SELECT STATEMENT[CHOOSE] Cost=1
      INDEX FAST FULL SCAN BE_IX [ANALYZED]
    
    
      只选择多列索引的第2列:
      SQL> explain plan for select ename from big_emp;
      Query Plan
      ------------------------------------------
      SELECT STATEMENT[CHOOSE] Cost=1
      INDEX FAST FULL SCAN BE_IX [ANALYZED]

      三、表之间的连接
      Join是一种试图将两个表结合在一起的谓词,一次只能连接2个表,表连接也可以被称为表关联。在后面的叙 述中,我们将会使用“row source”来代替“表”,因为使用row source更严谨一些,并且将参与连接的2个row source分别称为row source1和row source 2.Join过程的各个步骤经常是串行操作,即使相关的row source可以被并行访问,即可以并行的读取做join连接的两个row source的数据,但是在将表中符合限制条件的数据读入到内存形成row source后,join的其它步骤一般是串行的。有多种方法可以将2个表连接起来,当然每种方法都有自己的优缺点,每种连接类型只有在特定的条件下才会 发挥出其最大优势。
      row source(表)之间的连接顺序对于查询的效率有非常大的影响。通过首先存取特定的表,即将该表作为驱动表,这样可以先应用某些限制条件,从而得到一个 较小的row source,使连接的效率较高,这也就是我们常说的要先执行限制条件的原因。一般是在将表读入内存时,应用where子句中对该表的限制条件。
      根据2个row source的连接条件的中操作符的不同,可以将连接分为等值连接(如WHERE A.COL3 = B.COL4)、非等值连接(WHERE A.COL3 > B.COL4)、外连接(WHERE A.COL3 = B.COL4(+))。上面的各个连接的连接原理都基本一样,所以为了简单期间,下面以等值连接为例进行介绍。
      在后面的介绍中,都以以下Sql为例进行说明:
     
      假设A表为Row Soruce1,则其对应的连接操作关联列为COL 3;
      B表为Row Soruce2,则其对应的连接操作关联列为COL 4;


      连接类型:
      目前为止,无论连接操作符如何,典型的连接类型共有3种:
      排序 - - 合并连接(Sort Merge Join (SMJ) )
      嵌套循环(Nested Loops (NL) )
      哈希连接(Hash Join)
      另外,还有一种Cartesian product(笛卡尔积),一般情况下,尽量避免使用。
      1,排序 - - 合并连接(Sort Merge Join, SMJ)
      内部连接过程:
      1) 首先生成row source1需要的数据,然后对这些数据按照连接操作关联列(如A.col3)进行排序。
      2) 随后生成row source2需要的数据,然后对这些数据按照与sort source1对应的连接操作关联列(如B.col4)进行排序。
      3) 最后两边已排序的行被放在一起执行合并操作,即将2个row source按照连接条件连接起来
         下面是连接步骤的图形表示:

     MERGE
      /\
      SORTSORT
      ||
      Row Source 1Row Source 2

      如果row source已经在连接关联列上被排序,则该连接操作就不需要再进行sort操作,这样可以大大提高这种连接操作的连接速度,因为排序是个极其费资源的操 作,特别是对于较大的表。预先排序的row source包括已经被索引的列(如a.col3或b.col4上有索引)或row source已经在前面的步骤中被排序了。尽管合并两个row source的过程是串行的,但是可以并行访问这两个row source(如并行读入数据,并行排序)。
      SMJ连接的例子:

    SQL> explain plan for
      select /*+ ordered */ e.deptno, d.deptno
      from emp e, dept d
      where e.deptno = d.deptno
      order by e.deptno, d.deptno;
      Query Plan
      -------------------------------------
      SELECT STATEMENT [CHOOSE] Cost=17
      MERGE JOIN
      SORT JOIN
      TABLE ACCESS FULL EMP [ANALYZED]
      SORT JOIN
      TABLE ACCESS FULL DEPT [ANALYZED]

      排序是一个费时、费资源的操作,特别对于大表。基于这个原因,SMJ经常不是一个特别有效的连接方法,但是如果2个row source都已经预先排序,则这种连接方法的效率也是蛮高的。
      2,嵌套循环(Nested Loops, NL)
      这个连接方法有驱动表(外部表)的概念。其实,该连接过程就是一个2层嵌套循环,所以外层循环的次数越少越好,这也就是我们为什么将小表或返回较小 row source的表作为驱动表(用于外层循环)的理论依据。但是这个理论只是一般指导原则,因为遵循这个理论并不能总保证使语句产生的I/O次数最少。有时 不遵守这个理论依据,反而会获得更好的效率。如果使用这种方法,决定使用哪个表作为驱动表很重要。有时如果驱动表选择不正确,将会导致语句的性能很差、很差。
      内部连接过程:

     Row source1的Row 1 —— Probe ->Row source 2
      Row source1的Row 2 —— Probe ->Row source 2
      Row source1的Row 3 —— Probe ->Row source 2
      ……。
      Row source1的Row n —— Probe ->Row source 2

      从内部连接过程来看,需要用row source1中的每一行,去匹配row source2中的所有行,所以此时保持row source1尽可能的小与高效的访问row source2(一般通过索引实现)是影响这个连接效率的关键问题。这只是理论指导原则,目的是使整个连接操作产生最少的物理I/O次数,而且如果遵守这 个原则,一般也会使总的物理I/O数最少。但是如果不遵从这个指导原则,反而能用更少的物理I/O实现连接操作,那尽管违反指导原则吧!因为最少的物理 I/O次数才是我们应该遵从的真正的指导原则,在后面的具体案例分析中就给出这样的例子。
      在上面的连接过程中,我们称Row source1为驱动表或外部表。Row Source2被称为被探查表或内部表。
      在NESTED LOOPS连接中,Oracle读取row source1中的每一行,然后在row sourc2中检查是否有匹配的行,所有被匹配的行都被放到结果集中,然后处理row source1中的下一行。这个过程一直继续,直到row source1中的所有行都被处理。这是从连接操作中可以得到第一个匹配行的最快的方法之一,这种类型的连接可以用在需要快速响应的语句中,以响应速度为 主要目标。
      如果driving row source(外部表)比较小,并且在inner row source(内部表)上有唯一索引,或有高选择性非唯一索引时,使用这种方法可以得到较好的效率。NESTED LOOPS有其它连接方法没有的的一个优点是:可以先返回已经连接的行,而不必等待所有的连接操作处理完才返回数据,这可以实现快速的响应时间。
      如果不使用并行操作,最好的驱动表是那些应用了where 限制条件后,可以返回较少行数据的的表,所以大表也可能称为驱动表,关键看限制条件。对于并行查询,我们经常选择大表作为驱动表,因为大表可以充分利用并 行功能。当然,有时对查询使用并行操作并不一定会比查询不使用并行操作效率高,因为最后可能每个表只有很少的行符合限制条件,而且还要看你的硬件配置是否 可以支持并行(如是否有多个CPU,多个硬盘控制器),所以要具体问题具体对待。
      NL连接的例子:

    SQL> explain plan for
      select a.dname,b.sql
      from dept a,emp b
      where a.deptno = b.deptno;
      Query Plan
      -------------------------
      SELECT STATEMENT [CHOOSE] Cost=5
      NESTED LOOPS
      TABLE ACCESS FULL DEPT [ANALYZED]
      TABLE ACCESS FULL EMP [ANALYZED]

      3,哈希连接(Hash Join, HJ)
      这种连接是在oracle 7.3以后引入的,从理论上来说比NL与SMJ更高效,而且只用在CBO优化器中。
      较小的row source被用来构建hash table与bitmap,第2个row source被用来被hansed,并与第一个row source生成的hash table进行匹配,以便进行进一步的连接。Bitmap被用来作为一种比较快的查找方法,来检查在hash table中是否有匹配的行。特别的,当hash table比较大而不能全部容纳在内存中时,这种查找方法更为有用。这种连接方法也有NL连接中所谓的驱动表的概念,被构建为hash table与bitmap的表为驱动表,当被构建的hash table与bitmap能被容纳在内存中时,这种连接方式的效率极高。

      HASH连接的例子: 

    SQL> explain plan for
      select /*+ use_hash(emp) */ empno
      from emp, dept
      where emp.deptno = dept.deptno;
      Query Plan
      ----------------------------
      SELECT STATEMENT[CHOOSE] Cost=3
      HASH JOIN
      TABLE ACCESS FULL DEPT
      TABLE ACCESS FULL EMP

      要使哈希连接有效,需要设置HASH_JOIN_ENABLED=TRUE,缺省情况下该参数为TRUE,另外,不要忘了还要设置 hash_area_size参数,以使哈希连接高效运行,因为哈希连接会在该参数指定大小的内存中运行,过小的参数会使哈希连接的性能比其他连接方式还 要低。

      另外,笛卡儿乘积(Cartesian Product)
      当两个row source做连接,但是它们之间没有关联条件时,就会在两个row source中做笛卡儿乘积,这通常由编写代码疏漏造成(即程序员忘了写关联条件)。笛卡尔乘积是一个表的每一行依次与另一个表中的所有行匹配。在特殊情况下我们可以使用笛卡儿乘积,如在星形连接中,除此之外,我们要尽量不使用笛卡儿乘积,否则,自己想结果是什么吧!
      注意在下面的语句中,在2个表之间没有连接。

    SQL> explain plan for
      select emp.deptno,dept,deptno
      from emp,dept
      Query Plan
      ------------------------
      SLECT STATEMENT [CHOOSE] Cost=5
      MERGE JOIN CARTESIAN
      TABLE ACCESS FULL DEPT
      SORT JOIN
      TABLE ACCESS FULL EMP

      CARTESIAN关键字指出了在2个表之间做笛卡尔乘积。假如表emp有n行,dept表有m行,笛卡尔乘积的结果就是得到n * m行结果。

    业务操作
    在执行计划中出现的操作
    1.排序
    2.过滤
    3.视图
    排序
    有大量的操作运用了排序
    1.order by子句
    2.group by
    sort merge join


  • 相关阅读:
    Python自动化运维之28、Django(二)
    Python自动化运维之27、Django(一)
    Python自动化运维之26、Web框架本质、MVC与MTV
    Python自动化运维之25、Ajax
    高级接口--高级群发接口
    高级接口--用户标签管理
    高级接口--获取用户基本信息
    高级接口--获取用户地理位置
    高级接口--生成带参数二维码
    高级接口--OAuth2.0网页授权
  • 原文地址:https://www.cnblogs.com/rafx/p/oraclePlan.html
Copyright © 2020-2023  润新知