• Mysql索引优化分析


    1.1性能下降下降SQL慢

         执行时间长

         等待时间长

         查询语句写的烂,各种连接各种子查询导致用不上索引

         索引失效,建立了索引没用上

     1.2索引分为单值索引和复合索引

         单值索引:只给这张表的某一个字段建立一个索引

         例:create index idx_user_name on user(name)

         复合索引: 

         建立索引之后会在底层做排序,提高

    2. 常见的join查询

    2.1SQL的执行顺序

    手写:
    select distinct
    from
    join on
    where
    group by
    having
    order by
    limit

    机读:
    from
    on
    join
    where
    group by
    having
    select
    distinct
    order by
    limit
    总结:

    2.2mysql七种join

    2.2.1内链接inner join

     2.2.2左连接left join

     2.2.3右连接 right join

     2.2.4A表为主表,并且不显示共有部分

     2.2.5B表为主表,并且不显示共有部分

     2.2.6全连接 full outer join

     2.2.7不显示共有部分

    2.3union并集 自带去重功能

    3索引简介

    3.1索引是什么

    MySql官方对索引的定义为:索引(Index)是帮助mysql高效获取数据的数据结构。
    
    可以得到索引的本质:索引是数据结构
    
    索引的目的在于提高查找效率,可以类比字典
    
    索引会影响where后面的查找和order后面的排序(索引2大功能:快速查找、排序)

    3.1.1

    你可以简单理解为“排好序的快速查找数据结构”

    详解

    结论:
    在数据之外,数据库系统还维护着满足特定查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现算法查找。这种数据结构,就是索引

    3.1.2

    一般来说索引本身也很大,不可能全部存在内存中,因此索引往往以索引文件的形式存储在磁盘上

    我们平常所说的索引,如果没有特别指明,都是B树(多路搜索树,并不一定是二叉树的)结构组织的索引。其中聚集索引、次要索引、覆盖索引、复合索引、前缀索引、唯一索引默认都是B+树索引,统称索引。当然,除了B+树这种类型的索引之外,还有哈希索引(hash index)等

    3.2索引优势

    类似大学图书馆建书目索引,提高数据检索的效率,降低数据库的io成本

    通过索引列对数据进行排序,降低数据排序的成本,降低了cpu的消耗

    3.3劣势

    实际上索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录,所以索引列也是要占用空间的

    虽然索引大大提高了查询速度,同时却会降低更新表的速度,如对表进行insert、update、delete。

    因为更新表时,mysql不仅要保存数据,还要保存一下索引文件每次更新添加了索引列的字段,都会调整因为更新所带来的键值变化后的索引信息

    索引只是提高效率的一个因素,如果你的mysql有大数据量的表,就需要花时间建立最优秀的索引,或者优化查询

    4 mysql索引分类

    4.1.1单值索引

    即一个索引只包含单个列,一个表可以有多个单列索引

    4.1.2唯一索引

    索引列的值必须唯一,但允许有空值

    4.1.3复合索引

    一个索引包含多个列

    4.2基本语法

    创建:

    CREATE  [UNIQUE ] INDEX indexName ON mytable(columnname(length));

    如果是CHAR,VARCHAR类型,length可以小于字段实际长度;
    如果是BLOB和TEXT类型,必须指定length。

    ALTER mytable ADD  [UNIQUE ]  INDEX [indexName] ON (columnname(length))

    删除:

    DROP INDEX [indexName] ON mytable;

    查看:

    SHOW INDEX FROM table_nameG

    使用alter命令:

    有四种方式来添加数据表的索引:
    ALTER TABLE tbl_name ADD PRIMARY KEY (column_list): 该语句添加一个主键,这意味着索引值必须是唯一的,且不能为NULL。

    ALTER TABLE tbl_name ADD UNIQUE index_name (column_list): 这条语句创建索引的值必须是唯一的(除了NULL外,NULL可能会出现多次)。

    ALTER TABLE tbl_name ADD INDEX index_name (column_list): 添加普通索引,索引值可出现多次。

    ALTER TABLE tbl_name ADD FULLTEXT index_name (column_list):该语句指定了索引为 FULLTEXT ,用于全文索引。

    5.mysql索引结构

    5.1BTree索引

    检索原理:

    
    
    
    【初始化介绍】 
    一颗b+树,浅蓝色的块我们称之为一个磁盘块,可以看到每个磁盘块包含几个数据项(深蓝色所示)和指针(黄色所示),
    如磁盘块1包含数据项17和35,包含指针P1、P2、P3,
    P1表示小于17的磁盘块,P2表示在17和35之间的磁盘块,P3表示大于35的磁盘块。
    真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。
    非叶子节点只不存储真实的数据,只存储指引搜索方向的数据项,如17、35并不真实存在于数据表中。

    【查找过程】
    如果要查找数据项29,那么首先会把磁盘块1由磁盘加载到内存,此时发生一次IO,在内存中用二分查找确定29在17和35之间,锁定磁盘块1的P2指针,内存时间因为非常短(相比磁盘的IO)可
    以忽略不计,通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存,发生第二次IO,29在26和30之间,锁定磁盘块3的P2指针,通过指针加载磁盘块8到内存,发生第三次IO,同时内
    存中做二分查找找到29,结束查询,总计三次IO。

    真实的情况是,3层的b+树可以表示上百万的数据,如果上百万的数据查找只需要三次IO,性能提高将是巨大的,如果没有索引,每个数据项都要发生一次IO,那么总共需要百万次的IO,显然
    成本非常非常高。

    5.2Hash索引(略,了解)

    5.3full-text全文索引(略)

    5.4R-Tree索引(略)

    6.哪些情况下我们需要建索引

    (1)主键自动建立唯一索引

    (2)频繁作为查询条件的字段应该创建索引

    (3)查询中与其它表关联的字段,外键关系建立索引

    (4)频繁更新的字段不适合创建索引

    因为每次更新不单单是更新了记录还会更新索引,加重了IO负担

    (5)Where条件里用不到的字段不创建索引

    (6)单键/组合索引的选择问题,who?(在高并发下倾向创建组合索引)

    (7)查询中排序的字段,排序字段若通过索引去访问将大大提高排序速度

    (8)查询中统计或者分组字段

    7.哪些情况下不需要建立索引

    (1)表记录太少

    (2)经常增删改的表

    Why:提高了查询速度,同时却会降低更新表的速度,如对表进行INSERT、UPDATE和DELETE。
    因为更新表时,MySQL不仅要保存数据,还要保存一下索引文件

    (3)数据重复且分布平均的表字段,因此应该只为最经常查询和最经常排序的数据列建立索引。
    注意,如果某个数据列包含许多重复的内容,为它建立索引就没有太大的实际效果。

     8.性能分析

    8.1MySql Query Optimizer

    8.1.1 Mysql中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端请求的Query提供他认为最优的执行计划(他认为最优的数据检索方式,但不见得是DBA认为是最优的,这部分最耗费时间)

    8.1.2 当客户端向MySQL 请求一条Query,命令解析器模块完成请求分类,区别出是 SELECT 并转发给MySQL Query Optimizer时,MySQL Query Optimizer 首先会对整条Query进行优化,处理掉一些常量表达式的预算,直接换算成常量值。并对 Query 中的查询条件进行简化和转换,如去掉一些无用或显而易见的条件、结构调整等。然后分析 Query 中的 Hint 信息(如果有),看显示Hint信息是否可以完全确定该Query 的执行计划。如果没有 Hint 或Hint 信息还不足以完全确定执行计划,则会读取所涉及对象的统计信息,根据 Query 进行写相应的计算分析,然后再得出最后的执行计划。
     

    8.2MySQL常见瓶颈

    8.2.1CPU:CPU在饱和的时候一般发生在数据装入内存或从磁盘上读取数据时候

    8.2.2IO:磁盘I/O瓶颈发生在装入数据远大于内存容量的时候

    8.2.3服务器硬件的性能瓶颈:top,free, iostat和vmstat来查看系统的性能状态

    8.3Explain(解释)

    8.3.1是什么(查看执行计划)

    使用EXPLAIN关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是
    如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈

    8.3.2能干什么

    表的读取顺序
    数据读取操作的操作类型
    哪些索引可以使用
    哪些索引被实际使用
    表之间的引用
    每张表有多少行被优化器查询

    8.3.3怎么玩

    Explain+SQL语句

    执行计划包含的信息

    8.3.4各字段解释

    (1)id
    select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序
    三种情况:
    a.id相同,执行顺序由上至下

    b.id不同,如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行
    
    
    
    c.id相同不同,同时存在
    
    
    (2)select_type
    有哪些(常用的值):
    
    

     查询的类型,主要是用于区别普通查询、联合查询、子查询等复杂查询

    *siple        --简单的 select 查询,查询中不包含子查询或者UNION
    *primary --查询中若包含任何复杂的子部分,最外层查询则被标记为
    *subquery --在SELECT或WHERE列表中包含了子查询
    *derived --在FROM列表中包含的子查询被标记为DERIVED(衍生)
    MySQL会递归执行这些子查询, 把结果放在临时表里。
    *union --若第二个SELECT出现在UNION之后,则被标记为UNION;
    若UNION包含在FROM子句的子查询中,外层SELECT将被标记为:DERIVED
    *union result --从UNION表获取结果的SELECT

    (3)table
    显示这一行的数据是关于哪张表的
    (4)type 显示的是访问类型
    a.有哪些(常用值):

    type显示的是访问类型,是较为重要的一个指标,结果值从最好到最坏依次是:
    system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

    system>const>eq_ref>ref>range>index>ALL

    一般来说,得保证查询至少达到range级别,最好能达到ref。

    
    

    b.访问类型排列

    *system   --表只有一行记录(等于系统表),这是const类型的特列,平时不会出现,这个也可以忽略不计

    *const    --表示通过索引一次就找到了,const用于比较primary key或者unique索引。因为只匹配一行数据,所以很快如将主键置于where列表中,

                MySQL就能将该查询转换为一个常量

    *eq_ref   --唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键或唯一索引扫描

    *ref      --非唯一性索引扫描,返回匹配某个单独值的所有行.
                本质上也是一种索引访问,它返回所有匹配某个单独值的行,然而,
                它可能会找到多个符合条件的行,所以他应该属于查找和扫描的混合体

    *range    --只检索给定范围的行,使用一个索引来选择行。key 列显示使用了哪个索引
                一般就是在你的where语句中出现了between、<、>、in等的查询
                这种范围扫描索引扫描比全表扫描要好,因为它只需要开始于索引的某一点,而结束语另一点,不用扫描全部索引。

    *index    --Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常比ALL快,因为索引文件通常比数据文件小。
               (也就是说虽然all和Index都是读全表,但index是从索引中读取的,而all是从硬盘中读的)

    *all      --Full Table Scan,将遍历全表以找到匹配的行

    备注:一般来说,得保证查询至少达到range级别,最好能达到ref。

    
    

    显示查询使用了何种类型,
    从最好到最差依次是:
    system>const>eq_ref>ref>range>index>ALL

    (5)possible_keys

    显示可能应用在这张表中的索引,一个或多个。
    查询涉及到的字段上若存在索引,则该索引将被列出,但不一定被查询实际使用

    (6)key
    实际使用的索引。如果为NULL,则没有使用索引
    查询中若使用了覆盖索引,则该索引仅出现在key列表中
    (7)key_len
    表示索引中使用的字节数,可通过该列计算查询中使用的索引的长度。在不损失精确性的情况下,长度越短越好
    key_len显示的值为索引字段的最大可能长度,并非实际使用长度,即key_len是根据表定义计算而得,不是通过表内检索出的
    (8)ref
    显示索引的哪一列被使用了,如果可能的话,是一个常数。哪些列或常量被用于查找索引列上的值
    (9)rows
    根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数
    (10)Extra
    包含不适合在其他列中显示但十分重要的额外信息

    a.Using filesort

    说明mysql会对数据使用一个外部的索引排序,而不是按照表内的索引顺序进行读取。
    MySQL中无法利用索引完成的排序操作称为“文件排序”

    b.Using temporary (使用临时表)

    使了用临时表保存中间结果,MySQL在对查询结果排序时使用临时表。常见于排序 order by 和分组查询 group by。

    c.USING index

    表示相应的select操作中使用了覆盖索引(Covering Index),避免访问了表的数据行,效率不错!
    如果同时出现using where,表明索引被用来执行索引键值的查找;
    如果没有同时出现using where,表明索引用来读取数据而非执行查找动作。

    d.Using where                   --表明使用的where过滤

    e.using join buffer             --使用了连接缓存

    f.impossible where              --where子句的值总是false,不能用来获取任何元素

    g.select tables optimized away  --在没有GROUPBY子句的情况下,基于索引优化MIN/MAX操作或者
                                      对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段再进行计算,
                                      查询执行计划生成的阶段即完成优化。

    h.distinct                      --优化distinct操作,在找到第一匹配的元组后即停止找同样值的动作



     9.mysq索引优化

    9.1 索引分析

    范围以后的索引会导致失效

    略...

    9.2索引失败(应该避免)

    索引失效案例 :

    (1)全值匹配我最爱

    (2)最佳左前缀法则:如果索引了多列,要遵守最左前缀法则。指的是查询从索引的最左前列开始并且不跳过索引中的列。

    (3)不在索引列上做任何操作(计算、函数、(自动or手动)类型转换),会导致索引失效而转向全表扫描

    (4)存储引擎不能使用索引中范围条件右边的列

    (5)尽量使用覆盖索引(只访问索引的查询(索引列和查询列一致)),减少select *

    (6)mysql 在使用不等于(!= 或者<>)的时候无法使用索引会导致全表扫描

    (7)is null ,is not null 也无法使用索引

    (8)

    9.3一般性建议


     

  • 相关阅读:
    OleDbCommand 的用法
    递归求阶乘
    C#重写窗体的方法
    HDU 5229 ZCC loves strings 博弈
    HDU 5228 ZCC loves straight flush 暴力
    POJ 1330 Nearest Common Ancestors LCA
    HDU 5234 Happy birthday 01背包
    HDU 5233 Gunner II 离散化
    fast-IO
    HDU 5265 pog loves szh II 二分
  • 原文地址:https://www.cnblogs.com/yezihan/p/11504188.html
Copyright © 2020-2023  润新知