• 大数据量表的优化查询


    1:索引,我们最先想到的就是创建索引,创建索引可以成倍的提升查询的效率,节省时间。但是如果数据量太过于巨大的时候,这个时候单纯的创建索引是无济于事的,我们知道假如特别是在大数据量中统计查询,就拿1000W数据来说吧,如果使用count函数的话,最少要50-100秒以上,当然如果你的服务器配置够高,处理够快,或许会少很多但是一样会超过10秒。 
    单纯的建立索引是无济于事的。我们可以在创建索引的时候给索引加个属性,compress,这个属性可以将所创建的索引进行一个良好的归类,这样的话,查询速度会提升5-10,或者更高。但是唯一的缺点是,压缩索引只能手动创建,对于那些KEY是无法进行压缩的,因为KEY(主键)是自动创建的索引,compress必选的属性,一般默认是不创建。所以在创建压缩索引的时候,可以找其他的关键字段进行压缩,比如工单表里面的流水号 
    2:尽量少的使用那些函数,比如 IS NUll;IS NOT NULL,IN;NOT IN等这样的匹配函数,可以使用符号程序进行操作 
    3:尽量少使用子查询,如果你写个类,里面模仿子查询的效果,你就会发现,简直在要命,我们可以使用联合查询,或者是外连接查询,这样速度会比子查询快很多。 
    4:在使用索引的时候,注意如下: 
    Where子句中有=将使索引失效 
    select account_name from test where amount != 0  (不使用
    select account_name from test where amount > 0  (使用

    Where条件中对字段增加处理函数将不使用该列的索引 
    select * from emp where to_char(hire_date,'yyyymmdd')='20080411' (不使用
    select * from emp where hire_date = to_char('20080411','yyyymmdd') (使用

    避免在索引列上使用IS NULL和 IS NOT NULL 
    select * from emp where dept_code is not null  (不使用
    select * from emp where dept_code > 0  (使用

    通配符的使用 
    select * from emp where name like '%A'  (不使用索引
    select * from emp where name like 'A%'  (使用索引) 

  • 相关阅读:
    【转】大数据求职者说
    【转】大数据东西辣么多,我该如何给自己一个清晰的定位呢?
    【转】大数据工程师需要学习哪些?
    【English】 Re-pick up English for learning big data (not updated regularly)
    【spark】spark应用(分布式估算圆周率+基于Spark MLlib的贷款风险预测)
    【idea】scala&sbt+idea+spark使用过程中问题汇总(不定期更新)
    【idea】scala&sbt+idea安装配置与测试
    spring boot热部署
    网段判断
    【转】python测试框架--doctest
  • 原文地址:https://www.cnblogs.com/go-onxp/p/oracle.html
Copyright © 2020-2023  润新知