• mysql临时表的产生


    sql执行会生成一个巨大的临时表,当内存放不下时,要全部copy 到磁盘,导致IO飙升,时间开销增大。

    额外收获知识收藏如下:

    临时表存储

    MySQL临时表分为“内存临时表”和“磁盘临时表”,其中内存临时表使用MySQL的MEMORY存储引擎,磁盘临时表使用MySQL的MyISAM存储引擎;

    一般情况下,MySQL会先创建内存临时表,但内存临时表超过配置指定的值后,MySQL会将内存临时表导出到磁盘临时表;

    使用临时表的场景

    1)ORDER BY子句和GROUP BY子句不同, 例如:ORDERY BY price GROUP BY name;

    2)在JOIN查询中,ORDER BY或者GROUP BY使用了不是第一个表的列 例如:SELECT * from TableA, TableB ORDER BY TableA.price GROUP by TableB.name

    3)ORDER BY中使用了DISTINCT关键字 ORDERY BY DISTINCT(price)

    4)SELECT语句中指定了SQL_SMALL_RESULT关键字 SQL_SMALL_RESULT的意思就是告诉MySQL,结果会很小,请直接使用内存临时表,不需要使用索引排序 SQL_SMALL_RESULT必须和GROUP BY、DISTINCT或DISTINCTROW一起使用 一般情况下,我们没有必要使用这个选项,让MySQL服务器选择即可。

    直接使用磁盘临时表的场景

    1)表包含TEXT或者BLOB列;

    2)GROUP BY 或者 DISTINCT 子句中包含长度大于512字节的列;

    3)使用UNION或者UNION ALL时,SELECT子句中包含大于512字节的列;

    表的设计原则

    使用临时表一般都意味着性能比较低,特别是使用磁盘临时表,性能更慢,因此我们在实际应用中应该尽量避免临时表的使用。 常见的避免临时表的方法有:

    1)创建索引:在ORDER BY或者GROUP BY的列上创建索引;

    2)分拆很长的列:一般情况下,TEXT、BLOB,大于512字节的字符串,基本上都是为了显示信息,而不会用于查询条件, 因此表设计的时候,应该将这些列独立到另外一张表。

    SQL优化

    如果表的设计已经确定,修改比较困难,那么也可以通过优化SQL语句来减少临时表的大小,以提升SQL执行效率。

    常见的优化SQL语句方法如下:

    1)拆分SQL语句

    临时表主要是用于排序和分组,很多业务都是要求排序后再取出详细的分页数据,这种情况下可以将排序和取出详细数据拆分成不同的SQL,以降低排序或分组时临时表的大小,提升排序和分组的效率,我们的案例就是采用这种方法。

    2)优化业务,去掉排序分组等操作

    有时候业务其实并不需要排序或分组,仅仅是为了好看或者阅读方便而进行了排序,例如数据导出、数据查询等操作,这种情况下去掉排序和分组对业务也没有多大影响。

    如何判断使用了临时表?

    使用explain查看执行计划,Extra列看到Using temporary就意味着使用了临时表。

    小结:

    可见, 完全颠覆了对in操作符的认识,凡事儿都是要分情况讨论的

  • 相关阅读:
    elasticsearch版本不同,批量查询也不相同
    lucene源码分析(4)Similarity相似度算法
    lucene源码分析(3)facet实例
    lucene-solr源码编译导入eclipse--转
    lucene源码分析(2)读取过程实例
    lucene源码分析(1)基本要素
    javascript 的位操作符转换推断
    WinJS.Binding.List与kendo.data.ObservableArray
    迷你MVVM框架 avalonjs 0.84发布
    迷你MVVM框架 avalonjs 入门教程
  • 原文地址:https://www.cnblogs.com/microtiger/p/6208074.html
Copyright © 2020-2023  润新知