数据库加快查询速度,优化查询效率,主要操作就是避免全表扫描。
建立索引不是建的越多越好,一张表的索引最多不超过6个,过多的索引会对update和insert操作的性能产生影响;索引应建立在多数查询经常使用的列、很少进行修改的列且索引需要建立在数据差异大的列上。
1、MySql语句模型结构优化
a. ORDER BY [sort] => 在[sort]上建立索引
b. WHERE [columnX]=[value] ORDER BY [sort] => 建立联合索引(columnX,sort)
c. WHERE uid=1 ORDER x,y => 建立索引(x,y,uid)
2、复合索引
语句:select* from users where area ='beijing' and age=22;
如果我们是在area和age上分别创建索引的话,由于mysql查询每次只能使用一个索引,所以虽然这样已经相对不做索引时全表扫描提高了很多效率,但是如果area,age两列上创建复合索引的话将带来更高的效率。在使用索引字段作为条件时,如果该索引是复合索引,那么必须使用到该索引中的第一个字段作为条件时才能保证系统使用该索引,否则该索引将不会被使用,并且应尽可能的让字段顺序与索引顺序相一致。例如我们建立了一个这样的索引(area,age,salary),那么其实相当于创建了(area,age,salary),(area,age),(area)三个索引,这样称为最佳左前缀特性。
3、like语句优化
语句:select id from a where name like '%abc%';
abc前面使用'%',必然会引起全表查询,除非必要,否则不要在查询关键字前面添加'%',优化为'abc%'
4、where子句使用!=或<>操作符优化
语句:select * from a where id!=5
where子句中使用上述操作符,索引将被放弃使用,会进行全表查询。优化为select * from a where id>5 or id<5
5、where子句中使用IS NULL或IS NOT NULL优化
where子句中使用上述操作符,索引将被放弃使用,会进行全表查询。可将列设置默认值,避免null查询
6、where子句or优化
where子句中使用上述操作符,索引将被放弃使用.可使用union的方式进行查询
select * from t where num=10 or num=20;
优化:select * from t where num=10
union all
select * from t where num=20;
7、where子句使用in或not in的优化
方案一:between替换in,如SQL:SELECT id FROM A WHERE num in(1,2,3) 优化成:SELECT id FROM A WHERE num between 1 and 3
方案二:exist替换in,如SQL:SELECT id FROM A WHERE num in(select num from b ) 优化成:SELECT num FROM A WHERE num exists(select 1 from B where B.num = A.num)
方案三:left join替换in,如SQL:SELECT id FROM A WHERE num in(select num from B) 优化成:SELECT id FROM A LEFT JOIN B ON A.num = B.num
8、where子句对字段表达式操作的优化
不要在where表达式左侧进行函数、算数运算或其他表达式运算,否则系统将可能无法正确使用索引
如SQL:SELECT id FROM A WHERE datediff(day,createdate,'2016-11-30')=0 优化成:SELECT id FROM A WHERE createdate>='2016-11-30' and createdate<'2016-12-1'
9、任何地方都不要用select * from table,只取自己使用到的列
10、使用临时表暂存中间结果
a 避免程序中多次扫描主表,减少程序执行"共享锁"阻塞"更新锁",减少阻塞,提高并发性能
b 尽量使用表变量来代替临时表。
c 避免频繁创建和删除临时表,以减少系统资源的浪费
d 尽量避免向客户端返回大数据量
11、limit分页优化
语句:select * from wl_tagindex where byname='f' order by id limit 300000,10
优化:select * from (select id from wl_tagindex where byname='f' order by id limit 300000,10) a left join wl_tagindex bb on a.id=b.id
byname,id为复合索引
12、批量插入优化
语句:insert into person(name,age) value('a',18);insert into person(name,age) value('b',19);insert into person(name,age) value('c',20);
优化:insert into person(name,age) value('a',18)('b',19)('c',20);
13、尽量使用union all代替union
union需要将所有结果集合后再进行唯一性过滤,这就会涉及到排序和大量CPU运算,加大资源的消耗及延迟
14、避免类型转换
15、尽量使用更小的字段
16、inner jon、left join、right join、子查询
a inner join内连接也叫等值连接,left/riight join是外连接
b 子查询的性能比外连接性能慢
c join使用小结果驱动大结果
17、exist代替in
语句:select * from a where id in (select id from b); select * from a where id exists (select 1 from b where a.id=b.id);
a表比b表大时,exist比in效率高;a、b数据差不多,exists和in效率一样
18、在where子句中使用参数,也会导致全表扫描。因为sql只有在运行时才会解析局部变量,但优化程序不能将访问计划的选择推迟都运行时,它必须在编译时进行选择。然而,如果在编译时建立访问计划,变量的值还是未知的,因而无法作为索引选择的输入项。
select id from t where num=@num;
改为强制查询索引:select id from t with(index(索引名)) where num=@num;
19、不要写一些没有意义的查询,如需要生成一个空表结构。
select col1,col2 into #t from t where 1=0;这类代码不会返回任何结果集,但是会消耗系统资源。
优化:create table #t(...);
20、并不是所有的索引对查询都有效,sql根据表中数据来进行查询优化的,当索引列有大量数据重复时,sql查询可能不会去利用索引,如一表中有字段sex、male,即使在sex上建立索引也对查询效率起不到作用。
21、索引并不是越多越好,索引固然可以提高相应的 select 的效率,但同时也降低了 insert 及 update 的效率,因为 insert 或 update 时有可能会重建索引,所以怎样建索引需要慎重考虑,视具体情况而定。一个表的索引数最好不要超过6个,若太多则应考虑一些不常使用到的列上建的索引是否有必要。
22、应尽可能的避免更新 clustered 索引数据列,因为 clustered 索引数据列的顺序就是表记录的物理存储顺序,一旦该列值改变将导致整个表记录的顺序的调整,会耗费相当大的资源。若应用系统需要频繁更新 clustered 索引数据列,那么需要考虑是否应将该索引建为 clustered 索引。
23、尽量使用数字型字段,若只含数值信息的字段尽量不要设计为字符型,这会降低查询和连接的性能,并会增加存储开销。这是因为引擎在处理查询和连接时会逐个比较字符串中每一个字符,而对于数字型而言只需要比较一次就够了。
24、尽可能的使用 varchar/nvarchar 代替 char/nchar ,因为首先变长字段存储空间小,可以节省存储空间,其次对于查询来说,在一个相对较小的字段内搜索效率显然要高些。
25、尽量使用表变量来代替临时表。如果表变量包含大量数据,请注意索引非常有限(只有主键索引)。
26、避免频繁创建和删除临时表,以减少系统表资源的消耗。
27、临时表并不是不可使用,适当地使用它们可以使某些例程更有效,例如,当需要重复引用大型表或常用表中的某个数据集时。但是,对于一次性事件,最好使用导出表。
28、在新建临时表时,如果一次性插入数据量很大,那么可以使用 select into 代替 create table,避免造成大量 log ,以提高速度;如果数据量不大,为了缓和系统表的资源,应先create table,然后insert。
29、如果使用到了临时表,在存储过程的最后务必将所有的临时表显式删除,先 truncate table ,然后 drop table ,这样可以避免系统表的较长时间锁定。
30、尽量避免使用游标,因为游标的效率较差,如果游标操作的数据超过1万行,那么就应该考虑改写。
31、使用基于游标的方法或临时表方法之前,应先寻找基于集的解决方案来解决问题,基于集的方法通常更有效。
32、与临时表一样,游标并不是不可使用。对小型数据集使用 FAST_FORWARD 游标通常要优于其他逐行处理方法,尤其是在必须引用几个表才能获得所需的数据时。在结果集中包括“合计”的例程通常要比使用游标执行的速度快。如果开发时间允许,基于游标的方法和基于集的方法都可以尝试一下,看哪一种方法的效果更好。
33、在所有的存储过程和触发器的开始处设置 SET NOCOUNT ON ,在结束时设置 SET NOCOUNT OFF 。无需在执行存储过程和触发器的每个语句后向客户端发送 DONE_IN_PROC 消息。
34、尽量避免向客户端返回大数据量,若数据量过大,应该考虑相应需求是否合理。
35、尽量避免大事务操作,提高系统并发能力。