• 生产库中遇到mysql的子查询


    使用过oracle或者其他关系数据库的DBA或者开发人员都有这样的经验,在子查询上都认为数据库已经做过优化,能够很好的选择驱动表执行,然后在把该经验移植到mysql数据库上,但是不幸的是,mysql在子查询的处理上有可能会让你大失所望,在我们的生产系统上就由于碰到了这个问题:

    select  i_id, sum(i_sell) as i_sell

    from table_data

    where i_id in (select i_id from table_data where Gmt_create >= ‘2011-10-07 00:00:00’)

    group by i_id;

    (备注:sql的业务逻辑可以打个比方:先查询出10-07号新卖出的100本书,然后在查询这新卖出的100本书在全年的销量情况)。

    这条sql之所以出现的性能问题在于mysql优化器在处理子查询的弱点,mysql优化器在处理子查询的时候,会将将子查询改写。通常情况下,我们希望由内到外,先完成子查询的结果,然后在用子查询来驱动外查询的表,完成查询;但是mysql处理为将会先扫描外面表中的所有数据,每条数据将会传到子查询中与子查询关联,如果外表很大的话,那么性能上将会出现问题;

    针对上面的查询,由于table_data这张表的数据有70W的数据,同时子查询中的数据较多,有大量是重复的,这样就需要关联近70W次,大量的关联导致这条sql执行了几个小时也没有执行完成,所以我们需要改写sql:

    SELECT t2.i_id, SUM(t2.i_sell) AS sold

    FROM (SELECT distinct i_id FROM table_data

    WHERE gmt_create >= ‘2011-10-07 00:00:00’) t1,  table_data t2

    WHERE t1.i_id = t2.i_id GROUP BY t2.i_id;

    我们将子查询改为了关联,同时在子查询中加上distinct,减少t1关联t2的次数;

    改造后,sql的执行时间降到100ms以内。

    转:http://hidba.org/?p=412 

  • 相关阅读:
    关于MATLAB收集人工鼠标移动轨迹的坐标
    对交叉验证的认识
    关于MATLAB处理大数据坐标文件2017624
    关于MATLAB处理大数据坐标文件2017622
    关于MATLAB处理大数据坐标文件2017620
    关于MATLAB处理大数据坐标文件201763
    关于MATLAB处理大数据坐标文件201762
    关于MATLAB处理大数据坐标文件201761
    关于MATLAB处理大数据坐标文件2017530
    [leetcode] 70. Climbing Stairs 解题报告
  • 原文地址:https://www.cnblogs.com/liuzhuqing/p/7351077.html
Copyright © 2020-2023  润新知