MYSQL学习（二） --MYSQL框架

MYSQL架构理解

通过对MYSQL重要的几个属性的理解，建立一个基本的MYSQL的知识框架。后续再补充完善。

一、MYSQL架构

　　这里给的架构描述，是很宏观的架构。有助于建立对MYSQL整体理解。

　　1. 架构图

　　以下是在网上找的两张MYSQL架构图。能反映MYSQL的结构。

　　    

　　结构基本一致，都是连接、服务和存储引擎三部分。

　　　　

　　2.分层实现

　　MYSQL大致分为3个层次。连接层、服务层和引擎层。连接层功能是客户端的链接服务。服务层完成缓存查询、SQL分析、SQL优化。引擎层真正负责MYSQL数据的存储和提取。

　　1．连接层

　　核心功能是完成客户端的链接安全服务。负责一些连接处理、授权认证以及相关安全方案。该层提供了线程池功能。为通过安全认证的客户端提供线程。

验证主要是用户名、密码的验证。

　　2．服务层

　　服务层提供的服务包括查询的解析、分析（语法、语义）、优化（SQL）、缓存查询、内置函数（日期、数学、时间、加密）、跨存储引擎的功能（存储过程、触发器、视图）等。

　　3．引擎层

　　存储引擎层主要负责数据的存储和提取。服务器通过API和引擎层进行通信。

　　核心需要了解的引擎有InnoDB和MyISAM两种引擎。绝大多数情况下都选择使用使用InnoDB引擎。

1. InnoDB：支持事务、支持行表锁（高并发友好-行锁更好的支持并发）、支持主外键、不支持全文检索。
2. MyISAM：支持全文检索、不支持事务、只支持表锁(对并发不好--操作一条数据就需要锁住整张表)。

　　3.查询组件

　　按照查询过程，描述各组件的功能。

　　1．连接器

　　　　管理数据库链接、权限验证。

　　

　　2.用户权限是链接时刻的用户权限

　　　　一个用户成功建立

　　　　连接后，即使你用管理员账号对这个用户的权限做了修改，也不会影响已经存在连接的权限。修改完成后，只有再新建的连接才会使用新的权限设置。

1. 链接

　　　　链接过程比较麻烦，通常使用长链接。

　　　(1) 长链接

　　　　如果客户端和服务端链接上之后，客户端有持续的请求，则一直使用同一个链接。

　　　　长链接缺点：容易占用内存。在执行语句中使用的内存是管理在链接对象中的。这些资源只有在断开链接的使用才能释放。如果长链接时间较长，可能积累的内存很大，造成内存溢出。解决思路(定期断开重连)。

　　(2)短链接

　　　　连接后执行SQL之后，断开链接，下次使用时，重新链接。

2．查询缓存

　　核心思想就是看，缓存中是否存在刚刚查询过和当前一样的SQL。如果存在，则直接使用缓存数据返回。如果不存在，才执行后续的查询步骤。缺点是：适合于静态表。如果是动态表，数据实时发生变化。查询以前的缓存数据不准确。

1. 查询缓存

　　建立链接后，首先是在内存中查询，看之前是否执行过这条语句。之前执行过的语句可能以KEY-VALUE的形式保存在内存中。KEY为查询的语句。VALUE是查询的结果。

　　(1)缓存存在

　　　　直接将缓存的数据返回给客户端。

　　(2)缓存不存在

　　　　执行后面的阶段。

3．分析器

　　将SQL的字符串转成语法树。过程包含词法解析和语法解析。

　　(1)词法解析

　　识别字符串中的SQL关键字和函数关键字。

　　(2)语法解析

　　在词法分析基础之上，生成语法树。可以向后提交给优化器。

4．优化器

　　优化器对语法树进行进一步优化，给出更合理的执行计划。从而提高SQL的执行效率。

　　比如：多个表JOIN的时候，决定表的关联顺序。多个索引时，选择使用哪个索引。

5．执行器

　　经过优化器优化后的语句，进入执行器阶段。开始执行语句。

　　(1)判断权限

　　判断用户有没有对表操作的权限。如果没有，则直接返回该用户没有权限错误。如果有，就继续执行。

　　(2)调用引擎API，继续执行

　　打开表，执行器会根据表的引擎定义，去执行这个引擎提供的接口。

二、并发控制

　　当多个线程，同时修改同一张表的数据的时候，就需要并发控制。MYSQL在两个级别实现并发控制。服务器级(the server level)和存储引擎级(the storage engine level)。加锁实现并发控制。对锁从不同的角度分析，尽量减小锁对并发的影响。从提升并发性能的角度来分析的。

　　(一)、尽小可能使用互斥，尽大可能使用共享

　　互斥是实现同步的一种方式。也是代价比较大的一种。对并发性能影响较大。因此，对锁分为共享锁和互斥锁。也是经常说的读锁和写锁。根据不同的情况，在保证正确性的前提下，尽可能使用共享锁(读锁)。

　　1．读锁(共享锁)

　　读锁允许多个连接，并发的读取统一资源，互不干涉。读锁之间是共享的。不互斥。

　　2．写锁(互斥锁、排它锁)

　　一个写锁阻塞其它写锁和读锁。保证同一时刻只有一个连接写入数据。同时，防止其它用户对这个数据进行读写。

　　（二）、 粒度(尽小范围加锁)

　　在满足逻辑正确的情况下。加锁范围越小，产生阻塞的可能性越小。并发的性能就越高。因此。从这个角度来分析MYSQL的锁机制。MYSQL中分为表锁和行级锁。

　　1．表锁

　　表锁是用户操作的过程中对整张表锁定。只允许一个用户对表进行操作(插入、删除、更新)。MYSQL独立于存储引擎提供表锁，例如，对于ALTER TABLE语句，服务器提供表锁(table-level lock)。

表锁是MYSQL基本的锁策略。也是开销最小的锁策略（因为简单可行）。

　　2．行级锁

　　最大程度的支持并发处理。InnoDB支持行级锁。指锁定需要的几行数据即可。也是开销最大的所策略(需要精确的控制，代价很大)。

　　（三）、 多版本控制

　　多版本控制的核心是 读事务不用等待锁。从而更加提升了性能。MYSQL的MVCC的实现逻辑。

　　通过在每行数据后添加两个隐藏列来实现。一个是创建时间，一个死过期时间(删除时间)。这两个列存储的是系统版本号（版本号的大小体现时间的先后顺序）。每开始一个新的事务，版本号都会增加。事务开始时刻的版本号作为这个事务的版本号。

MVCC的具体操作，InnoDB引擎为例

　　（1）INSERT

　　插入每行数据，创建时间为当前的系统版本号

　　（2）DELETE

　　删除每行数据，保存当前系统版本号为删除时间。

　　（3）UPDATE

　　插入一行新数据。当前系统版本号为创建时间。另外，当前版本号为原来行的删除时间

　　（4）SELECT

　　　读操作不需要等待其它锁

　　 查询的时候，需要满足一下两个条件的数据。

1. 只需要找创建时间小于或等于当前版本号的数据。（这样能确保事务读取的行，要么在事务开始之前就已经存在，要么是事务自身插入或者修改的）
2. 行的删除时间，要么未定义，要么大于当前版本。

　　符合以上两个条件的记录，才能作为查询结果。

三、 事务

　　数据库的事务处理原则是ACID的正确性。

　　（一）、事务的ACID属性

　　1．原子性

　　一个事务被视为最小的工作单元，整个事务所有操作，要么都执行，要么全部回滚，都不执行。不能执行其中的一部分，任务不能分割。

　　2．一致性

　　符合逻辑，从一个一致性状态转换到另一个一致性状态。

　　3．隔离性

　　提供一定的隔离机制，保证事务在运行过程中不受外部并发操作的影响。一个事务所做的修改，在提交之前，对其它事务不可见。

　　4．持久性

　　一旦事务提交，其所做的修改就会保存到数据库中。即事务提交后，对数据的修改是永久性的。

　（二）、 隔离级别

　　隔离规定了，一个事务所做的修改，那些在事务内部和事务间是可见的，那些是不可见的。较低级别的隔离通常可以执行较高的并发。系统的开销更低。

　　1．未提交读 REDA UNCOMMITED

　　事务中的修改，即使没有提交，对其它事务也都是可见的。

　　这种情况下，容易造成脏读。

　　2．提交读 READ COMMITED

　　一个事务中的修改，只有在事务提交之后，对其它事务才可见。换句话说，一个事务的修改，在其提交之前，对其余事务是不可见的。

　　这个级别满足隔离性的定义，也称为不可重复读。因为，即使在一个事务中，重复两次查询，可能得到不一样的结果。

　　3．可重复读 REPEATABLE READ

　　同一个事务中，多次读取，记录结果是一致的（因为同一个事务，版本号是一样的，有版本号控制，能够保证，多次查询结果是一致的）。重复读能解决脏读的问题。

　　可重复读是MYSQL默认的隔离级别。

　　4．可串行化 SERIALIZABLE

　　是隔离的最高级别。强制要求事务串行执行。是加锁读。

　　 

　（三）、 死锁

　　两个或多个事务，在同一资源上相互占用。并请求占用对方占用的资源。

　（四）、MYSQL中的事务

　　MYSQL默认为自动提交(AUTOCOMMIT)。

　　1．自动提交

　　如果不是显示的提交一个事务(START TRANSACTION ---COMMIT)，每个查询都会作为一个事务提交。

　　参数设置：set autocommit = 1；

　　2．手动提交

　　所有的查询都是在一个事务中，直至显示的执行commit提交或者rollback回滚，该事务才结束。

　　参数设置： set autocommit = 0；

　（五）、 事务处理的几个问题

　　由于事务的并发执行，带来以下一些著名的问题：

　　1．更新丢失（Lost Update）

　　当两个或多个事务选择同一行，然后基于最初选定的值更新该行时，由于每个事务都不知道其他事务的存在，就会发生丢失更新问题－－最后的更新覆盖了由其他事务所做的更新。

　　2．脏读（Dirty Reads）

　　一个事务正在对一条记录做修改，在这个事务完成并提交前，这条记录的数据就处于不一致状态；这时，另一个事务也来读取同一条记录，如果不加控制，第二个事务读取了这些"脏"数据，并据此做进一步的处理，就会产生未提交的数据依赖关系。这种现象被形象地叫做"脏读"。

　　3．不可重复读（Non-Repeatable Reads）

　　一个事务在读取某些数据后的某个时间，再次读取以前读过的数据，却发现其读出的数据已经发生了改变、或某些记录已经被删除了！这种现象就叫做"不可重复读"。

　　4．幻读（Phantom Reads）

　　一个事务按相同的查询条件重新读取以前检索过的数据，却发现其他事务插入了满足其查询条件的新数据，这种现象就称为"幻读"。

四、引擎

　　数据库中的引擎是真正执行SQL的组件，被MYSQL集成在内部。MYSQL是一个多引擎的数据库管理系统。核心的有InnoDB(默认引擎)和MyISAM。

　（一）、 InnoDB

　　MYSQL默认的存储引擎。最大的特点是支持事务、支持行级锁，因此能支持高并发的访问。不支持全文索引。索引是基于聚簇索引建立的。对主键的查询有很高的性能。

　（二）、MyISAM

　　MYSQL5之前的默认存储引擎。最大的特点是支持全文索引。但是，不支持事务，支持表锁。并发支持性不好。