• 数据库性能的优化


    其他注意事项 
         “水可载舟,亦可覆舟”,索引也一样。索引有助于提高检索性能,但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引,数据库就要做更多的 工作。过多的索引甚至会导致索引碎片。所以说,我们要建立一个“适当”的索引体系,特别是对聚合索引的创建,更应精益求精,以使您的数据库能得到高性能的 发挥。在实际的开发中,会遇到很多意想不到的情况,最好是多测试一些方案,找出哪种方案效率最高、最为有效。

    索引就是优化数据库性能的重要一点

    一、数据库设计优化

    1、不要使用游标。 

    使用游标不仅占用内存,而且还用不可思议的方式锁定表,它们可以使DBA所能做的一切性能优化等于没做。游标里每执行一次fetch就等于执行一次select。

    2、创建适当的索引

    每当为一个表添加一个索引,select会更快,可insert和delete却大大变慢,因为创建了维护索引需要许多额外的工作。

    (1)采用函数处理的字段不能利用索引 

    (2)条件内包括了多个本表的字段运算时不能进行索引 

    3、使用事务 

    对于一些耗时的操作,使用事务可以达到很好的优化效果。 

    4、小心死锁 

    按照一定的次序来访问你的表。如果你先锁住表A,再锁住表B,那么在所有的存储过程中都要按照这个顺序来锁定它们。 如果某个存储过程先锁定表B,再锁定表A,这可能会导致一个死锁。

    5、不要打开大的数据集 

    6、不要使用服务器端游标 

    与服务器端游标比起来,客户端游标可以减少服务器和网络的系统开销,并且还减少锁定时间。 

    7、不要忽略同时修改同一记录的问题

    有时候,两个用户会同时修改同一记录,这样,后一个修改者修改了前一个修改者的操作,某些更新就会丢失。处理这种情况,创建一个timestamp字段,在写入前检查它,如果允许,就合并修改,如果存在冲突,提示用户。

    8、尽量不要使用text数据类型 

    除非使用text处理一个很大的数据,否则不要使用它。因为它不易于查询,速度慢,用的不好还会浪费大量的空间。一般varchar可以更好的处理数据。 

    9、避免在索引列上使用计算  

    where子句中,如果索引列是函数的一部分,优化器将不使用索引而使用全表扫描。例如: 

    (低效)select ... from [dept] where [sal]*12>25000; 

    (高效)select ... from [dept] where [sal]>25000/12;

    10、不同类型的索引效能是不一样的,应尽可能先使用效能高的

    数字类型的索引查找效率高于字符串类型,定长字符串char、nchar的索引效率高于变长字符串varchar、nvarchar的索引。

    (低效)select ... from tableName where username='张三' and age>=21

    (高效)select ... from tableName where age>=21 and username='张三'

    二、SQL语句优化 

    1、不要使用select * 

    在select中指定所需要的列,将带来的好处: 

    (1)减少内存耗费和网络的带宽 

    (2)更安全

    (3)给查询优化器机会从索引读取所有需要的列

    2、使用参数查询 

    主要是防止SQL注入,提高安全性。 

    3、使用exists或not exists代替in或not in 

    (高效)select * from [emp] where [empno]>0 and exists (select 'X' from [dept] where [dept].[deptno]=[emp].[deptno] and [loc]='MELB');

    (低效)select * from [emp] where [empno]>0 and [deptno] in (select [deptno] from [dept] where [loc]='MELB');

    4、is null或is not null操作

    判断字段是否为空一般是不会应用索引的,因为索引不索引空值。不能用null作索引,任何包含null值的列都将不会被包含在索引中。也就是说如果某列存在空值,即使对该列建索引也不会提高性能。任何在where子句中使用is null或is not null的语句优化器都不允许使用索引。 

    推荐方案:用其他相同功能的操作运算代替,如:a is not null改为a>0或a>''等。 

    5、<及>操作 

    大于或小于一般情况不用调整,因为它有索引就会采用索引查找,但有的情况下可以对它进行优化。如一个表有100万记录,那么执行>2与>=3的效果就有很大区别了。

    (低效)select * from [emp] where [deptno]>2;

    (高效)select * from [emp] where [deptno]>=3;

    6、like操作 

    like操作可以应用通配符查询,里面的通配符组合可能达到几乎是任意的查询,但是如果用不好则会产生性能上的问题,如lide '%5400%' 这种查询不会引用索引,而like 'X5400%' 则会引用范围索引。

    7、where后面的条件顺序影响 

    where子句后面的条件顺序对大数据量表的查询会产生直接的影响。如:

    select * from zl_yhjbqk where dy_dj='1KV以下' and xh_bz=1; 

    select * from zl_yhjbqk where dy_dj=1 and dy_dj='1KV以下'; 

    以上两个查询,两个字段都没进行索引,所以执行的时候都是全表扫描,第一条SQL的dy_dj='1KV以下'条件在记录集内比率为99%,而xh_bz=1的比率只为0.5%,在进行第一条SQL的时候99%条记录都进行dy_dj及xh_bz的比较。而在进行第二条SQL的时候0.5%条记录都进行dy_dj及xh_bz的比较,以此可以得出第二条SQL的CPU占用率明显比第一条低。 

    8、用union替换or(适用于索引列) 

    通常情况下,用union替换where子句中的or将会起到较好的效果。对索引列使用or将造成全表扫描。注意:这个规则只针对多个索引列有效。如果有column没有被索引,查询效率可能会因为你没有选择or而降低。下面的例子中loc_id和region上都有建索引。

    (低效)select loc_id,loc_desc,begion from location where loc_id=10 or begion='MELBOURNE'; 

    (高效)select loc_id,loc_desc,begion from location where loc_id=10

                union

               select loc_id,loc_desc_begion from location where begion='MELBOURNE'; 

    9、优化group by 

    提高group by语句的效率,可以通过将不需要的记录在group by之前过滤掉。

    (低效)select [job],avg([sal]) from [emp] group by [job] having job='PRESIDENT' or job='MANAGER'; 

    (高效)select [job],avg([sal]) from [emp] where [job]='PRESIDENT' or job='MANAGER' group by [job];

    10、使用存储过程 

    可以考虑使用存储过程封装那些复杂的SQL语句或业务逻辑,这样有几个好处:

    (1)存储过程的执行计划可以被缓存在内存中较长的时间,减少了重新编译的时间。

    (2)存储过程减少了客户端和服务器的繁复交互。 

    (3)如果程序发布后需要做某些改变你可以直接修改存储过程而不用修改程序,避免需要重新安装部署程序。  

    11、用sp_configure 'query governor cost limit'或者SET QUERY_GOVERNOR_COST_LIMIT来限制查询消耗的资源。当评估查询消耗的资源超出限制时,服务器自动取消查询,在查询之前就扼杀掉。SET LOCKTIME设置锁的时间。

    12、使用select top或set rowcount来限制操作的行。

    13、如果使用了in或or等时发现查询没有走索引,使用显式申明指定索引: SELECT * FROM PersonMember (INDEX = IX_Title) WHERE processid IN ('男','女')。

    14、如果要插入大的二进制值到Image列,使用存储过程,千万不要用内嵌insert来插入(不知JAVA是否)。因为这样应用程序首先将二进制值转换成字符串(尺寸是它的两倍),服务器受到字符后又将他转换成二进制值。存储过程就没有这些动作: 方法:Create procedure p_insert as insert into table(Fimage) values (@image), 在前台调用这个存储过程传入二进制参数,这样处理速度明显改善。

    15、分析select emp_name form employee where salary>3000 在此语句中若salary是Float类型的,则优化器对其进行优化为Convert(float,3000),因为3000是个整数,我们应在编程时使用3000.0而不要等运行时让DBMS进行转化。同样字符和整型数据的转换。

    三、处理百万级以上数据提高查询速度的方法

    1、尽量避免在where子句中使用!=或<>操作符,否则将使引擎放弃使用索引而进行全表扫描。

    2、应考虑在where及order by涉及的列上建立索引。 

    3、尽量避免在where子句中对字段进行null值判断,否则将导致全表扫描。 

    4、就是避免在where子句中使用or来连接条件,否则将导致全表扫描。

    select id from t where num=10 or num=20  改写为

    select id from t  where num=10

    union all 

    select id from t where num=20 

    5、尽量避免使用前置百分号。

    select id from t where name like '%abc%' 

    6、in 和not in也要慎用,很多时候可以用exists和not exists,否则会导致全表扫描。

    7、如果在where子句中使用参数,也会导致全表扫描。 

    select id from t where num=@num  可以改为强制查询使用索引 

    select id from t with(index(索引名)) where num=@num 

    8、尽量避免在where子句中对字段进行表达式操作,否则将导致全表扫描。 

    select id from t where num/2=100  

    应改为: 

    select id from t where num=100*2 

    9、尽量避免在where子句中对字段进行函数操作,否则将导致全表扫描。

    select id from t where substring(name,1,3)='abc' 

    应改为: 

    select id from t where name like 'abc%' 

    10、并不是所有索引对查询都有效,SQL根据表中数据来进行查询优化,当索引列有大量数据重复时,SQL查询可能不会去利用索引。

    11、索引并不是越多越好,索引提交了select效率,但是降低了insert和update的效率。一个表的索引数最好不要超过6个。 

    12、尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。因为引擎在处理查询和连接时会逐个比较字符串中每个字符,而对于数字型而言只需要比较一次就够了。 

    13、尽可能使用varchar/nvarchar代替char/nchar,因为首先变长字段存储空间小,可以节省存储空间;其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。 

    14、任何地方都不要使用select *,用具体的字段列表代替*,不要返回用不到的字段。 

    15、尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就考虑改写。 

    16、尽量避免大事务操作,提高系统并发能力。 

    17、利用set rowcount实现高性能的分页。

    游标实际上是一种能从包括多条数据记录的结果集中每次提取一条记录的机制。游标充当指针的作用。尽管游标能遍历结果中的所有行,但他一次只指向一行。

    概括来讲,SQL的游标是一种临时的数据库对象,即可以用来存放在数据库表中的数据行副本,也可以指向存储在数据库中的数据行的指针。游标提供了在逐行的基础上操作表中数据的方法。

    游标的一个常见用途就是保存查询结果,以便以后使用。游标的结果集是由SELECT语句产生,如果处理过程需要重复使用一个记录集,那么创建一次游标而重复使用若干次,比重复查询数据库要快的多。

    大部分程序数据设计语言都能使用游标来检索SQL数据库中的数据,在程序中嵌入游标和在程序中嵌入SQL语句相同

    总结很重要哦 方法得当,坚持会有奇迹哦
  • 相关阅读:
    PyCharm 的使用(二)
    redis数据库
    mysql大全
    Python 模块详解及import本质
    logging模块
    redis详细配置
    千万 PV,百万PV什么意思?
    elasticsearch集群添加节点
    elasticsearch集群安全重启节点
    记一次redis-cluster的切换
  • 原文地址:https://www.cnblogs.com/sunyuhuan/p/7227982.html
Copyright © 2020-2023  润新知