索引及执行计划
索引就好比一本书的目录，它会让你更快的找到内容
让获取的数据更有目的性，从而提高数据库检索数据的性能。
常用btree索引
索引基本管理：
desc 查看信息看key值有没有所有信息
创建和删除：
alter table student add index idx_name(stu_name); idx_name 索引的名字
这是在表的列上创建索引
alter table student drop index idx_name;
或者
create index inx_name on stu(stu_name);
drop index inx_name on stu;
查询索引设置
desc student;
show index from student;
用expain查看SQL的执行计划
mysql> explain select id,name from test where name='oldboy'G
explain select SQL_NO_CACHE * from test where name='oldboy'G
SQL_NO_CACHE的作用是禁止缓存查询结果。
主键索引： 唯一、非空
走主键索引的查询效率是最高的，我们尽量每个表有一个主键，并且将来查询的时候计量以主键为条件查询
建表时 指定一个非空并且唯一的列为主键
CREATE TABLE `test` (
`id` int(4) NOT NULL AUTO_INCREMENT,
`name` char(20) NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;
建表后
CREATE TABLE `test1` (
`id` int(4) NOT NULL,
`name` char(20) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;
增加自增主键
alter table test1 change id id int(4) primary key not null auto_increment;
前缀索引： 选列的前几个字符作为索引的查询条件 来简化索引
create index index_name on student(stu_id(8));
查看索引为前八个字符作为条件
show index from student;
联合索引：
where a女生 and b身高165 and c身材好
index(a,b,c)
特点：前缀生效特性。
a,ab,abc，ac 可以走索引。
b bc c 不走索引。
原则：把最常用来作为条件查询的列放在前面。
走索引：
select * from people where a='nv' and b>=165 and tizhong<=120;
select * from people where a='nv' and b>=165;
select * from people where a='nv';
select * from people where a='nv' and tizhong<=120;
以上查询符合建立联合索引
alter table student add index minx(gender,age);
唯一性索引： 普通索引前面加上unique
create unique index index_name on test(name);
-------------------------------------------------
explain 调取语句的执行计划。
主要是判断语句是否走索引
explain select stu_name,gender,age from student where gender='F' and age <20;
mysql> explain select name,gender,age from test where gender='F' and age <20;
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------+
| 1 | SIMPLE | test | range | inx_test | inx_test | 7 | NULL | 1 | Using index condition |
type : 表示MySQL在表中找到所需行的方式，又称“访问类型”，
常见类型如下:
ALL,index, range, ref, eq_ref, const, system, NULL
从左到右，性能从最差到最好
ALL：
Full Table Scan， MySQL将遍历全表以找到匹配的行
如果显示ALL，说明：查询没有走索引：
1、语句本身的问题
2、索引的问题，没建立索引
index：Full Index Scan，index与ALL区别为index类型只遍历索引树
例子：
explain select count(*) from stu ;
range:索引范围扫描，对索引的扫描开始于某一点，返回匹配值域的行。
显而易见的索引范围扫描是带有between或者where子句里带有<,>查询。
where 条件中有范围查询或模糊查询时
> < >= <= between and in () or
like 'xx%'
当mysql使用索引去查找一系列值时，例如IN()和OR列表，也会显示range（范围扫描）,当然性能上面是有差异的。
ref：使用非唯一索引扫描或者唯一索引的前缀扫描，返回匹配某个单独值的记录行
where stu_name='xiaoming'
explain select * from stu where stu_name='aa';
eq_ref：类似ref，区别就在使用的索引是唯一索引，对于每个索引键值，表中只有一条记录匹配，简单来说，
就是多表连接中使用primary key或者 unique key作为关联条件
join条件使用的是primary key或者 unique key
const、system：当MySQL对查询某部分进行优化，并转换为一个常量时，使用这些类型访问。
如将主键置于where列表中，MySQL就能将该查询转换为一个常量
explain select * from city where id=1;
NULL：MySQL在优化过程中分解语句，执行时甚至不用访问表或索引，
例如从一个索引列里选取最小值可以通过单独索引查找完成。
mysql> explain select name,population from city;
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
| 1 | SIMPLE | city | ALL | NULL | NULL | NULL | NULL | 4188 | NULL |
+----+-------------+-------+------+---------------+------+---------+------+------+-------+
Extra:
Using temporary
Using filesort
Using join buffer
排序 order by ,group by ,distinct,排序条件上没有索引
explain select * from city where countrycode='CHN' order by population;
在join 的条件列上没有建立索引
-------------------------------------------------
一、数据库索引的设计原则：
为了使索引的使用效率更高，在创建索引时，必须考虑在哪些字段上创建索引和创建什么类型的索引。
那么索引设计原则又是怎样的?
1．选择唯一性索引
唯一性索引的值是唯一的，可以更快速的通过该索引来确定某条记录。
例如，学生表中学号是具有唯一性的字段。为该字段建立唯一性索引可以很快的确定某个学生的信息。
如果使用姓名的话，可能存在同名现象，从而降低查询速度。
主键索引和唯一键索引，在查询中使用是效率最高的。
2．为经常需要排序、分组和联合操作的字段建立索引
经常需要ORDER BY、GROUP BY、DISTINCT和UNION等操作的字段，排序操作会浪费很多时间。
如果为其建立索引，可以有效地避免排序操作。
3．为常作为查询条件的字段建立索引
如果某个字段经常用来做查询条件，那么该字段的查询速度会影响整个表的查询速度。因此，
为这样的字段建立索引，可以提高整个表的查询速度。
select count(DISTINCT population ) from city; 看population不重复的 有多少行
select count(*) from city; 看总行数 看到不重复的行更多那就可以吧这个列建立索引
4．尽量使用前缀来索引
如果索引字段的值很长，最好使用值的前缀来索引。例如，TEXT和BLOG类型的字段，进行全文检索
会很浪费时间。如果只检索字段的前面的若干个字符，这样可以提高检索速度。
------------------------以上的是重点关注的，以下是能保证则保证的--------------------
5．限制索引的数目
索引的数目不是越多越好。每个索引都需要占用磁盘空间，索引越多，需要的磁盘空间就越大。
修改表时，对索引的重构和更新很麻烦。越多的索引，会使更新表变得很浪费时间。
6．尽量使用数据量少的索引
如果索引的值很长，那么查询的速度会受到影响。例如，对一个CHAR（100）类型的字段进行全文
检索需要的时间肯定要比对CHAR（10）类型的字段需要的时间要多。
7．删除不再使用或者很少使用的索引
表中的数据被大量更新，或者数据的使用方式被改变后，原有的一些索引可能不再需要。数据库管理
员应当定期找出这些索引，将它们删除，从而减少索引对更新操作的影响。
---------------------------------------------二、开发规范---------------------------------------------------------------
不走索引的情况：
重点关注：
1) 没有查询条件，或者查询条件没有建立索引
select * from tab; 全表扫描。
select * from tab where 1=1;
在业务数据库中，特别是数据量比较大的表。
是没有全表扫描这种需求。
1、对用户查看是非常痛苦的。
2、对服务器来讲毁灭性的。
（1）select * from tab;
SQL改写成以下语句：
selec * from tab order by price limit 10 需要在price列上建立索引
（2）
select * from tab where name='zhangsan' name列没有索引
改：
1、换成有索引的列作为查询条件
2、将name列建立索引
2) 查询结果集是原表中的大部分数据，应该是30％以上。
查询的结果集，超过了总数行数30%，优化器觉得就没有必要走索引了。
假如：tab表 id，name id:1-100w ，id列有索引
select * from tab where id>500000;
如果业务允许，可以使用limit控制。
怎么改写 ？
结合业务判断，有没有更好的方式。如果没有更好的改写方案
尽量不要在mysql存放这个数据了。放到redis里面。
3) 索引本身失效，统计数据不真实
索引有自我维护的能力。
对于表内容变化比较频繁的情况下，有可能会出现索引失效。
4) 查询条件使用函数在索引列上，或者对索引列进行运算，运算包括(+，-，*，/，! 等)
例子：
错误的例子：select * from test where id-1=9;
正确的例子：select * from test where id=10;
5)隐式转换导致索引失效.这一点应当引起重视.也是开发中经常会犯的错误.
由于表的字段tu_mdn定义为varchar2(20),但在查询时把该字段作为number类型以where条件传给数据库,
这样会导致索引失效. 错误的例子：select * from test where tu_mdn=13333333333;
正确的例子：select * from test where tu_mdn='13333333333';
------------------------
mysql> alter table tab add index inx_tel(telnum);
Query OK, 0 rows affected (0.03 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql>
mysql>
mysql>
mysql> desc tab;
+--------+-------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+--------+-------------+------+-----+---------+-------+
| id | int(11) | YES | | NULL | |
| name | varchar(20) | YES | | NULL | |
| telnum | varchar(20) | YES | MUL | NULL | |
+--------+-------------+------+-----+---------+-------+
3 rows in set (0.01 sec)
mysql> select * from tab where telnum='1333333';
+------+------+---------+
| id | name | telnum |
+------+------+---------+
| 1 | a | 1333333 |
+------+------+---------+
1 row in set (0.00 sec)
mysql> select * from tab where telnum=1333333;
+------+------+---------+
| id | name | telnum |
+------+------+---------+
| 1 | a | 1333333 |
+------+------+---------+
1 row in set (0.00 sec)
mysql> explain select * from tab where telnum='1333333';
+----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+
| 1 | SIMPLE | tab | ref | inx_tel | inx_tel | 63 | const | 1 | Using index condition |
+----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+
1 row in set (0.00 sec)
mysql> explain select * from tab where telnum=1333333;
+----+-------------+-------+------+---------------+------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------------+
| 1 | SIMPLE | tab | ALL | inx_tel | NULL | NULL | NULL | 2 | Using where |
+----+-------------+-------+------+---------------+------+---------+------+------+-------------+
1 row in set (0.00 sec)
mysql> explain select * from tab where telnum=1555555;
+----+-------------+-------+------+---------------+------+---------+------+------+-------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+------+---------+------+------+-------------+
| 1 | SIMPLE | tab | ALL | inx_tel | NULL | NULL | NULL | 2 | Using where |
+----+-------------+-------+------+---------------+------+---------+------+------+-------------+
1 row in set (0.00 sec)
mysql> explain select * from tab where telnum='1555555';
+----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+
| id | select_type | table | type | possible_keys | key | key_len | ref | rows | Extra |
+----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+
| 1 | SIMPLE | tab | ref | inx_tel | inx_tel | 63 | const | 1 | Using index condition |
+----+-------------+-------+------+---------------+---------+---------+-------+------+-----------------------+
1 row in set (0.00 sec)
mysql>
------------------------
6)
<> ，not in 不走索引
EXPLAIN SELECT * FROM teltab WHERE telnum <> '110';
EXPLAIN SELECT * FROM teltab WHERE telnum NOT IN ('110','119');
------------
mysql> select * from tab where telnum <> '1555555';
+------+------+---------+
| id | name | telnum |
+------+------+---------+
| 1 | a | 1333333 |
+------+------+---------+
1 row in set (0.00 sec)
mysql> explain select * from tab where telnum <> '1555555';
-----
单独的>,<,in 有可能走，也有可能不走，和结果集有关，尽量结合业务添加limit
or或in 尽量改成union
EXPLAIN SELECT * FROM teltab WHERE telnum IN ('110','119');
改写成：
EXPLAIN SELECT * FROM teltab WHERE telnum='110'
UNION ALL
SELECT * FROM teltab WHERE telnum='119'
-----------------------------------
7) like "%_" 百分号在最前面不走
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '31%' 走range索引扫描
EXPLAIN SELECT * FROM teltab WHERE telnum LIKE '%110' 不走索引
%linux%类的搜索需求，可以使用elasticsearch
%linux培训%
8) 单独引用复合索引里非第一位置的索引列.
列子：
复合索引：
DROP TABLE t1
CREATE TABLE t1 (id INT,NAME VARCHAR(20),age INT ,sex ENUM('m','f'),money INT);
ALTER TABLE t1 ADD INDEX t1_idx(money,age,sex);
DESC t1
SHOW INDEX FROM t1
走索引的情况测试：
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 AND sex='m';
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND age=30 ;
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE money=30 AND sex='m'; ----->部分走索引
不走索引的：
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=20
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE age=30 AND sex='m';
EXPLAIN SELECT NAME,age,sex,money FROM t1 WHERE sex='m';
存储引擎查询
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
show engines; 查看支持的存储引擎
show create table city; 查看表的存储引擎
show table status like 'city'G 同上
select table_schema,table_name,engine from information_schema.tables where table_schema='world'; 查询world库的所有表的存储引擎
select table_schema,table_name,engine from information_schema.tables where table_schema='mysql'; 同上
select table_schema,table_name,engine from information_schema.tables where engine='csv'; 查询整个数据库中 使用CSV引擎的表
设置存储引擎
1、在启动配置文件中设置服务器存储引擎：
[mysqld]
default-storage-engine=<Storage Engine>
2、使用 SET 命令为当前客户机会话设置：
SET @@storage_engine=<Storage Engine>;
3、在 CREATE TABLE 语句指定：
CREATE TABLE t (i INT) ENGINE = <Storage Engine>;
表空间：
共享表空间：主要存放系统元数据等
独立表空间：主要存放用户数据
共享表空间设置：
innodb_data_file_path=ibdata1:50M;ibdata2:50M:autoextend
innodb_data_file_path=ibdata1:12M;ibdata2:50M:autoextend ----错误的配置XXX
innodb_data_file_path=ibdata1:76M;ibdata2:50M:autoextend -----正确的配置
----------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------
----------------------------------------------------------------------------------------------
MySQL日志管理
MySQL日志——（2）错误日志
配置方法:
[mysqld]
log-error=/data/mysql/mysql.log
查看配置方式：
mysql> show variables like '%log%error%';
作用：
记录mysql数据库的一般状态信息及报错信息，是我们对于数据库常规报错处理的常用日志。
MySQL日志——（3）一般查询日志
配置方法:
[mysqld]
general_log=on
general_log_file=/data/mysql/server2.log
查看配置方式：
show variables like '%gen%';
作用：
记录mysql所有执行成功的SQL语句信息，可以做审计用，但是我们很少开启
MySQL日志——二进制日志（2）
1、二进制日志都记录了什么？
已提交的数据记录，以event的形式记录到二进制文件中
2、二进制记录格式有哪些？
row：行模式，即数据行的变化过程，上图中Age=19修改成 Age=20的过程事件。
statement：语句模式，上图中将update语句进行记录。
mixed：以上两者的混合模式。
3、三总模式有什么优缺点？
4、binlog的作用
备份恢复、复制
二进制日志的管理（1）
1、开启二进制日志
set sql_log_bin=0 在会话级别修改为临时关闭
vi /etc/my.cnf
log-bin=/data/mysql/mysql-bin 在全局打开binlog
binlog_format=row
2、设置二进制日志记录格式（建议是ROW）：
配置文件中修改：
binlog-format=ROW
命令行修改
mysql> SET GLOBAL binlog_format = 'STATEMENT';
mysql> SET GLOBAL binlog_format = 'ROW';
mysql> SET GLOBAL binlog_format = 'MIXED';
3、查看binlog设置
show variables like '%binlog%';
4、binlog的刷新策略或叫同步策略
sync_binlig=1 每次的事物提交都写入磁盘
二进制日志管理（2）
查询二进制日志文件
ls -l /data/mysql/mysql-bin*
mysql> SHOW BINARY LOGS;
+---------------+-----------+
| Log_name | File_size |
+---------------+-----------+
| binlog.000015 | 724935 |
| binlog.000016 | 733481 |
mysql> SHOW MASTER STATUS;
+---------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+---------------+----------+--------------+------------------+
| binlog.000016 | 733481 | world_innodb | manual,mysql |
二进制日志管理（3）
获取二进制日志的内容及事件
二进制日志管理（4）
刷新二进制日志
flush logs
截取二进制日志
mysqlbinlog --start-position= --stop-position= >a.sql
问题：
1、什么是事件？
2、什么是position ?
二进制日志 实际操作
新建一个二进制日志的路径和文件并授权
mkdir /data/binlog -p
chown -R mysql.mysql /data/binlog
vim /etc/my.cnf
log-bin=/data/binlog
binlog_format=row
sync_binlog=1
show binary logs; 查看当前所有可用的二进制日志信息
show binlog events in 'my-bin.000002' 看二进制文件的 信息
show master status; 看当前正在使用的二进制日志
mysqlbinlog --base64-output=decode-rows -v my-bin.000002
转码以decode-rows 打印二进制的内容
mysqlbinlog --start-position=120 --stop-position=721 my-bin.000002
截取二进制内容
mysqbinlog --start-position=340 --stop-position=721 my-bin.000002 >/tmp/binlog.sql
截取内容导入到文件
使用二进制日志恢复数据
use lufei;
set sql_log_bin=0; 临时关闭二进制日志的记录 然后进行恢复
source /mysql/data/mysql-bin.000017 指定文件恢复
也可以截取部分二进制文件内容进行恢复，跳过或避免恢复错误的操作
set sql_log_bin=0;
source /tmp/binlog.sql 选择保存的截取部分 实时点恢复
flush logs; 刷新日志/重新增加一个二进制文件
删除二进制：
默认情况下，不会删除旧的日志文件。
根据存在时间删除日志：
SET GLOBAL expire_logs_days = 90;
…或者…
PURGE BINARY LOGS BEFORE now() - INTERVAL 3 day; 删除三天以前的
根据文件名删除日志：
PURGE BINARY LOGS TO 'mysql-bin.000010';
reset master; 清理所有的日志
-------------------
MySQL的慢查询日志
功能：
slow-log，记录所有条件内的慢的SQL语句
优化的一种工具日志。帮我们定位问题。
是将mysql服务器中影响数据库性能的相关SQL语句记录到日志文件
通过对这些特殊的SQL语句分析，改进以达到提高数据库性能的目的。
慢日志设置：
long_query_time ： 设定慢查询的阀值，超出次设定值的SQL即被记录到慢查询日志，缺省为10s
slow_query_log ： 指定是否开启慢查询日志
slow_query_log_file ： 指定慢日志文件存放位置，可以为空，系统会给一个缺省的文件host_name-slow.log
min_examined_row_limit：查询检查返回少于该参数指定行的SQL不被记录到慢查询日志
log_queries_not_using_indexes: 不使用索引的慢查询日志是否记录到索引
配置例子:
slow_query_log=1
slow_query_log_file=/data/slow/slow.log
long_query_time=0.5
log_queries_not_using_indexes
测试
处理慢日志：
mysqldumpslow命令 排序日志内容
mysqldumpslow -s c -t 10 /data/slow/slow.log
mysqldumpslow -s at -t 10 /data/slow/slow.log
这会输出记录次数最多的10条SQL语句，
其中：
-s
是表示按照何种方式排序
c、t、l、r分别是按照记录次数、时间、查询时间、返回的记录数来排序。
ac、at、al、ar，表示相应的倒叙。
-t
是top n的意思，即为返回前面多少条的数据；
----------自己扩展
pt-query-diagest percona-toolkit工具箱里的
mysqlsla