• 01 | 基础架构:一条SQL查询语句是如何执行的?


    1、数据库内部执行过程

    select * from T where ID=10

    2、Server层和存储引擎两层

    大体来说,mysql可以分为Server层和存储引擎两层

    1、server层

    server层包含连接器、查询缓存、分析器、优化器、执行器,涵盖了mysql的所有内置函数,跨存储引擎的功能都在这一层,像存储过程、触发器、视图等功能。需要注意的是因为查询缓存的功能弊大于利,所以在mysql8已经彻底摒弃了这个模块。

    2、存储引擎层

    存储引擎层负责数据的储存和读取,主要的储存引擎是InnoDB,MyISAM。最常用的储存引擎是InnoDB,从5.5.5版本开始成为mysql的默认引擎。也就是说。在你执行create table建表的时候,如果不指定引擎类型,默认使用的就是InnoDB。不过你也可以通过指定存储引擎类型来选择引擎,比如在create table语句中使用engine=MyISAM(CREATE TABLE wp_pos(a int) ENGINE=MyISAM;)来指定使用MyISAM存储引擎创建表。
    从图中不难看出,不同的储存引擎共用一个Server层,也就是从连接器到执行器的部分。下面介绍每个组件的作用

    3、每个组件的作用

    1、连接器

    第一步,你会先连接到这个数据库,这个时候接待你的就是连接器。连接器负责跟客户端建立连接,获取权限,维持和管理连接。连接命令一般是这么写的:
    mysql -u$ip -P$post -u$user -p
    如果用户名密码认证通过,连接器会到权限表里面查出你拥有的权限。之后,这个连接里面的权限判断逻辑都将依赖于此时读到的权限,这就意味着,一个用户成功建立连接后,即使你用管理员账号对这个用户的权限进行了修改,也不会影响已经存在连接的权限。修改完成后,只有再新建的连接才会使用新的权限设置。
    连接完成后,如果你没有后续的动作,这个连接就处于空闲的状态,你可以在show processlist命令中看到它,下图中show processlist的结果,其中的Command列显示为Sleep的这一行,就表示现在系统里面有空闲连接,客户端如果太长时间没有操作,连接器就会自动将他断开,这个时间参数是由wait_timeout控制的,默认8小时(28800s)。

    wait_timeout临时更改

    set global wait_timeout=28;
    show global variables like 'wait_timeout';

    wait_timeout永久更改

    vim /etc/my.cnf
    [mysqld]
    wait_timeout=28
    重启加载
    
    MySQL优化:https://blog.51cto.com/learningit/1790376

    如果在连接被断开之后,客户端在发送请求,就会收到一个错误提醒:Lost connection to MySQL server during query,这时候如果你要继续,就需要重新连接,然后在执行请求。
    在数据库里面,长连接是指连接成功后,如果客户端持续有请求,则一直使用同一个连接。短链接是指每次执行完就断开连接,下次查询在重新建立一个连接。
    建立连接的过程通常比较复杂,所以建议在使用中尽量使用长连接。但是全部使用长连接后,你可能就会发现,有时候MySQL的内存涨的特别快,这是因为MySQL在执行过程是使用内存来管理连接对象的,这些资源会在连接断开后才释放。所以如果大SQL语句使用长连接可能会导致内存出现OOM现象,造成被系统强行杀死(异常重启);

    1.1、那怎么解决呢?可以考虑以下两种方案

    方案一

    定时断开长连接。使用一段时间,或者程序里面判断执行过一个大SQL后,断开连接,之后要查询在重连。

    方案二

    如果你用的是MySQL5.7或更新的版本,可以在每次执行一个大SQL后,MySQL源代码可以通过执行mysql_reset_connection来重新初始化资源。这个过程不需要重连和重新做权限的验证,但是会将连接恢复到刚刚创建完成时的状态。

    2、查询缓存

    连接建立完成后,你就可以执行select语句了,执行逻辑就会来到第二部:查询缓存,如果查询能够在缓存中找到这个key,那么这个value就会直接返回给客户端。
    但是在生产环境中建议禁止查询缓存,因为查询缓存的失效非常频繁,只要你对一个表进行更新,这个表上的所有缓存就会失效,因此很有可能你费劲地把结果缓存起来,还没有使用呢,就被一个更新把缓存清理了。对于更新速度快的数据库表来说,查询缓存的命中率非常低。除非你的业务表就是一张静态表,很长时间才会更新一次。比如一个系统配置表,这种表的查询才适合使用查询缓存。
    好在 MySQL 也提供了这种“按需使用”的方式。你可以将参数 query_cache_type 设置 成 DEMAND,这样对于默认的 SQL 语句都不使用查询缓存。而对于你确定要使用查询缓 存的语句,可以用 SQL_CACHE 显式指定,像下面这个语句一样:

    对于确定要使用query cache的SQL语句, 可以用sql_cache的方法指定,例如
    select SQL_CACHE * from T where ID=10;
    

    需要注意的是,MySQL 8.0 版本直接将查询缓存的整块功能删掉了,也就是说 8.0 开始彻 底没有这个功能了。  

    3、分析器  

    如果没有命中查询缓存,就要开始真正执行语句了,首先,MySQL需要对语句进行解析属于什么操作,对什么操作,并判断语法是否正确。

    4、优化器

    经过分析器,MySQL知道你要做什么了。在开始执行前还要先经过优化器处理。优化器决定使用哪个索引;或者在一个语句有多表关联(join)的时候,决定各个表的连接顺序,比如你执行下面这样的语句,这个语句是执行两个表的join。

    select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;
    既可以先从表t1里面取出c=10的记录的ID 值,再根据ID值关联到表t2再判断t2里面d的值是否等于20。
    也可以先从表t2里面取出d=20的记录的ID值,再根据ID值关联到 表t1再判断t1里面c的值是否等于10。
    

    这两种执行方法的逻辑结果是一样的,但是执行的效率会有不同,而优化器的作用就是决定选择使用哪一个方案。
    优化器阶段完成后,这个语句的执行方案就确定下来了,然后进入执行器阶段。

    4.1 ps:MySQL多表查询详解

    1、以下表进行多表查询举例

    create table testA(id int,name char(10));
    create table testB(id int,age int);
    insert into testA(id,name) values(1,"charon");....
    insert into testB(id,age) values(2,18);....
    select * from testA;

    select * from testB;

    2、内连接

    inner join或者join(等同于inner join)

    select testA.*,testB.* from testA join testB on testA.id=testB.id;

    select testA.*,testB.* from testA inner join testB on testA.id=testB.id;

    select testA.*,testB.* from testA inner join testB where testA.id=testB.id;

    3、应用场景

    这种场景得到的是满足某一条件的表内共有内部数据,这种连接方式称为内连接

    4、外连接应用场景一

    left join或者left outer join(等同于left join)

    select testA.*,testB.* from testA left join testB on testA.id=testB.id;
    

    select testA.*,testB.* from testA left outer join testB on testA.id=testB.id;
    

    不存在的记录填充Null,这种场景下得到的是A的所有数据,和满足某一条件的B的数据

    5、外连接应用场景二 

    left join或者left outer join + where B.colume is null

    select testA.*,testB.* from testA left outer join testB on testA.id=testB.id where testB.id is null;
    

    这种场景下得到的所有数据减去与B满足同一条件的数据,然后得到A剩余的数据;

    6、外连接应用场景三

    right join或者right outer join(等同于right join)

    select testA.*,testB.* from testA right join testB on testA.id=testB.id;

    这种场景得到的是B的所有数据,和满足某一条件的A的数据

    7、外连接应用场景四

    [left join或者left outer join(等同于left join)] + [where A.column is null]

    select testA.*,testB.* from testA right join testB on testA.id=testB.id where testA.id is null;
    

    这种场景下得到的是B中所有数据减去与A满足同一条件的数据,然后得到B剩余的数据

    8、外连接应用场景五

    lest join union right join

    select testA.*,testB.* from testA left join testB on testA.id=testB.id union select testA.*,testB.* from testA right join testB on testA.id=testB.id;
    

    union后,重复的内容会合并,这种场景得到是满足某一条件的公共记录和独有的记录

    8、外连接应用场景六

    lest join is null union right join is null

    select testA.*,testB.* from testA left join testB on testA.id=testB.id where testB.id is null union select testA.*,testB.* from testA right join testB on testA.id=testB.id where testA.id is null;
    

    这种场景得到的是A,B中不满足某一条件的记录之和

     

    5、执行器

    MySQL通过分析器知道用户要做什么后,于是就进入执行器阶段开始执行语句。

    select * from T where ID=10;

    开始执行的时候要判断对这个表是否有权限,如果没有就返回权限错误,如果有权限就打开表继续执行,打开表的时候执行器会根据表的引擎定义,去使用这个引擎的接口。
    比如我们这个例子中的表T中,ID字段没有索引,那么执行器的执行流程是这样的:
    1、调用InnoDB引擎接口取这个表的第一行,判断ID值是不是10,如果不是跳过,如果是则将这行存在结果集合中。
    2、调用引擎接口读取“下一行”,重复相同的判断逻辑,直到取到这个表的最后一行。
    3、执行器将上述遍历过程中所有满足条件的行组成记录集作为结果集返回给客户端
    至此,这个语句就执行完成了。
    对于有索引的表,执行的逻辑也差不多。第一次调用的是满足条件的第一行接口,之后循环取满足条件的下一行接口,这些接口都是搜索引擎中已经定义好的。将最后的结果集返回给客户端用户。

  • 相关阅读:
    将本地文件夹添加到Git仓库
    flex调用Webservice(一)
    经典的sql
    打印相关
    reporting services订阅
    关于TabIndex
    试题(一)
    试试用手机
    2010.07.13_19:30
    基础知识
  • 原文地址:https://www.cnblogs.com/charon2/p/11748712.html
Copyright © 2020-2023  润新知