• Mysql 的InnoDB事务方面的 多版本并发控制如何实现 MVCC


     Mysql的MVCC不能解决幻读的问题,但是Mysql还有间隙锁功能,Mysql的间隙锁工作在Repeatable Read隔离级别下面,可以防止幻读,

    MVCC工作在 :在REPEATABLE READ和READ COMMITED 两种事务下面

    参考:Mysql 间隙锁原理,以及Repeatable Read隔离级别下可以防止幻读原理(百度)

    MySQL锁机制 
    读写锁 
    表锁 (MYISAM使用了表锁)
    行级锁
     (InnoDB使用了行级锁)

    MVCC:Multi-Version Concurrency Control 多版本并发控制。

    第一点:

    MVCC并不是MySql独有的,Oracle,PostgreSQL等都在使用。

    MVCC并没有简单地使用行锁,而是使用“行级别锁”(row-level locking)。

    MVCC的基本原理是:

    MVCC的实现,通过保存数据在某个时间点的快照来实现的。这意味着一个事务无论运行多长时间,在同一个事务里能够看到数据一致的视图。根据事务开始的时间不同,同时也意味着在同一个时刻不同事务看到的相同表里的数据可能是不同的。

    MVCC的基本特征:

    • 每行数据都存在一个版本,每次数据更新时都更新该版本。
    • 修改时Copy出当前版本随意修改,各个事务之间无干扰。
    • 保存时比较版本号,如果成功(commit),则覆盖原记录;失败则放弃copy(rollback)

    InnoDB存储引擎MVCC的实现策略:

    在每一行数据中额外保存两个隐藏的列:当前行创建时的版本号和删除时的版本号(可能为空)。这里的版本号并不是实际的时间值,而是系统版本号。每开始 个新的事务,系统版本号都会自动递增。事务开始时刻的系统版本号会作为事务的版本号,用来和查询每行记录的版本号进行比较。

    每个事务又有自己的版本号,这样事务内执行CRUD操作时,就通过版本号的比较来达到数据版本控制的目的。具体做法见下面的示意图。

      

     MVCC具体的操作如下:

    SELECT:InnoDB会根据以下两个条件检查每行记录:

    1)InnoDB只查找版本早于当前事务版本的数据行(也就是,行的系统版本号小于或等于事务的系统版本号),这样可以确保事务读取的行,只么是在事务开始前已经存在的,要么是事务自身插入或者修改过的。

    2)行的删除版本要么未定义,要么大于当前事务版本号。这可以确保事务读取到的行,在事务开始之前未被删除。

    INSERT:InnoDB为新插入的每一行保存当前系统版本号作为行版本号。

    DELETE:InnoDB为删除的每一行保存当前系统版本号作为行删除标识。

    UPDATE:InnoDB为插入一行新记录,保存当前系统版本号作为行版本号,同时保存当系统的版本号为原来的行作为删除标识。

    保存这两个额外系统版本号,使大多数操作都可以不用加锁。这样设计使得计数据操作很简单,性能很好,并且也能保证只会读取到符合标准的行。不足之处是每行记录都需要额外的存储空间,需要做更多的行检查工作,以及一些额外的维护工作。

    MVCC只在REPEATABLE READ和READ COMMITED两个隔离级别下工作,其它两个隔离级别下不存在MVCC)

    我们知道,mysql的innodb采用的是行锁,而且采用了多版本并发控制来提高读操作的性能。

    什么是多版本并发控制呢 ?其实就是在每一行记录的后面增加两个隐藏列,记录创建版本号和删除版本号,

    而每一个事务在启动的时候,都有一个唯一的递增的版本号。 

    1、在插入操作时 : 记录的创建版本号就是事务版本号。 

    比如我插入一条记录, 事务id 假设是1 ,那么记录如下:也就是说,创建版本号就是事务版本号。

    id   name   create version   delete version  
    1 test   1  

    2、在更新操作的时候,采用的是先标记旧的那行记录为已删除,并且删除版本号是事务版本号,然后插入一行新的记录的方式。 

    比如,针对上面那行记录,事务Id为2 要把name字段更新

    update table set name= 'new_value' where id=1;

    id     name   create version   delete version  
    1   test   1 2        
    1   new_value   2  

    3、删除操作的时候,就把事务版本号作为删除版本号。比如

    delete from table where id=1; 

    id   name   create version   delete version  
    1 new_value 2 3  

    4、查询操作: 

    从上面的描述可以看到,在查询时要符合以下两个条件的记录才能被事务查询出来: 

    1)InnoDB只查找版本早于当前事务版本的数据行(也就是,行的系统版本号小于或等于事务的系统版本号),这样可以确保事务读取的行,只么是在事务开始前已经存在的,要么是事务自身插入或者修改过的。

    2)行的删除版本要么未定义,要么大于当前事务版本号。这可以确保事务读取到的行,在事务开始之前未被删除。

    这样就保证了各个事务互不影响。从这里也可以体会到一种提高系统性能的思路,就是: 

    通过版本号来减少锁的争用。

    另外,只有read-committed和 repeatable-read 两种事务隔离级别才能使用mVcc

    read-uncommited由于是读到未提交的,所以不存在版本的问题

    而serializable 则会对所有读取的行加锁。 

    应用场景:  

    悲观锁:Synchroinzed 和Reentrant 都是悲观锁,传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁。 

    乐观锁:数据库的多版本并发控制,MVCC,就是典型的乐观锁。 

    乐观锁和悲观锁的机制:
    1. 乐观锁是一种思想,具体实现是,表中有一个版本字段,第一次读的时候,获取到这个字段。处理完业务逻辑开始更新的时候,需要再次查看该字段的值是否和第一次的一样。如果一样更新,反之拒绝。之所以叫乐观,因为这个模式没有从数据库加锁。
    2. 悲观锁是读取的时候为后面的更新加锁,之后再来的读操作都会等待。这种是数据库锁

    乐观锁优点程序实现,不会存在死锁等问题。它解决不了脏读的问题,他的适用场景也相对乐观。阻止不了除了程序之外的数据库操作。

    悲观锁是数据库实现,他阻止一切数据库操作。

    再来说更新数据丢失,所有的读锁都是为了保持数据一致性。乐观锁如果有人在你之前更新了,你的更新应当是被拒绝的,可以让用户从新操作。悲观锁则会等待前一个更新完成。这也是区别。具体业务具体分析 

    乐观锁


      乐观锁(Optimistic Lock), 顾名思义,就是很乐观,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量,像数据库如果提供类似于write_condition机制的其实都是提供的乐观锁。
      CAS便是乐观锁技术,当多个线程尝试使用CAS同时更新同一个变量时,只有其中一个线程能更新变量的值,而其它线程都失败,失败的线程并不会被挂起,而是被告知这次竞争中失败,并可以再次尝试。
      CAS有3个操作数,内存值V,旧的预期值A,要修改的新值B。当且仅当预期值A和内存值V相同时,将内存值V修改为B,否则什么都不做。

      JVM对CAS的支持

    悲观锁


      悲观锁(Pessimistic Lock), 顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁。
      比如说synchronized就是一种独占锁,他假设最坏的情况,并且只有在确保其它线程不会造成干扰的情况下执行,会导致其它所有需要锁的线程挂起,等待持有锁的线程释放锁。

      缺点:
      由于在进程挂起和恢复执行过程中存在着很大的开销。当一个线程正在等待锁时,它不能做任何事。举个栗子,如果一个线程需要某个资源,但是这个资源的占用时间很短,当线程第一次抢占这个资源时,可能这个资源被占用,如果此时挂起这个线程,可能立刻就发现资源可用,然后又需要花费很长的时间重新抢占锁,时间代价就会非常的高。

    悲观锁(Pessimistic Lock), 顾名思义,就是很悲观,每次去拿数据的时候都认为别人会修改,所以每次在拿数据的时候都会上锁,这样别人想拿这个数据就会block直到它拿到锁。传统的关系型数据库里边就用到了很多这种锁机制,比如行锁,表锁等,读锁,写锁等,都是在做操作之前先上锁。 

    乐观锁(Optimistic Lock), 顾名思义,就是很乐观,每次去拿数据的时候都认为别人不会修改,所以不会上锁,但是在更新的时候会判断一下在此期间别人有没有去更新这个数据,可以使用版本号等机制。乐观锁适用于多读的应用类型,这样可以提高吞吐量,像数据库如果提供类似于write_condition机制的其实都是提供的乐观锁。 

    典型的冲突有:

    • 丢失更新:一个事务的更新覆盖了其它事务的更新结果,就是所谓的更新丢失。例如:用户A把值从6改为2,用户B把值从2改为6,则用户A丢失了他的更新。

    • 脏读:当一个事务读取其它完成一半事务的记录时,就会发生脏读取。例如:用户A,B看到的值都是6,用户B把值改为2,用户A读到的值仍为6。

    为了解决这些并发带来的问题。 我们需要引入并发控制机制。

    并发控制机制

      悲观锁:假定会发生并发冲突,屏蔽一切可能违反数据完整性的操作。[1]

      乐观锁:假设不会发生并发冲突,只在提交操作时检查是否违反数据完整性。[1] 乐观锁不能解决脏读的问题。 

    乐观锁介绍:

      乐观锁( Optimistic Locking ) 相对悲观锁而言,乐观锁假设认为数据一般情况下不会造成冲突,所以在数据进行提交更新的时候,才会正式对数据的冲突与否进行检测,如果发现冲突了,则让返回用户错误的信息,让用户决定如何去做。那么我们如何实现乐观锁呢,一般来说有以下2种方式:

      1.使用数据版本(Version)记录机制实现,这是乐观锁最常用的一种实现方式。何谓数据版本?即为数据增加一个版本标识,一般是通过为数据库表增加一个数字类型的 “version” 字段来实现。当读取数据时,将version字段的值一同读出,数据每更新一次,对此version值加一。当我们提交更新的时候,判断数据库表对应记录的当前版本信息与第一次取出来的version值进行比对,如果数据库表当前版本号与第一次取出来的version值相等,则予以更新,否则认为是过期数据。用下面的一张图来说明:

    如上图所示,如果更新操作顺序执行,则数据的版本(version)依次递增,不会产生冲突。但是如果发生有不同的业务操作对同一版本的数据进行修改,那么,先提交的操作(图中B)会把数据version更新为2,当A在B之后提交更新时发现数据的version已经被修改了,那么A的更新操作会失败。 

    2.乐观锁定的第二种实现方式和第一种差不多,同样是在需要乐观锁控制的table中增加一个字段,名称无所谓,字段类型使用时间戳(timestamp), 和上面的version类似,也是在更新提交的时候检查当前数据库中数据的时间戳和自己更新前取到的时间戳进行对比,如果一致则OK,否则就是版本冲突。 

    使用举例:以MySQL InnoDB为例

    还是拿之前的实例来举:商品goods表中有一个字段status,status为1代表商品未被下单,status为2代表商品已经被下单,那么我们对某个商品下单时必须确保该商品status为1。假设商品的id为1。

     下单操作包括3步骤:

    1.查询出商品信息

    select (status,status,version) from t_goods where id=#{id}

    2.根据商品信息生成订单

    3.修改商品status为2

    update t_goods 
    
    set status=2,version=version+1where id=#{id} and version=#{version};

      那么为了使用乐观锁,我们首先修改t_goods表,增加一个version字段,数据默认version值为1。

      t_goods表初始数据如下:

      对于乐观锁的实现,我使用MyBatis来进行实践,具体如下:

    Goods实体类:  

    /**
     * ClassName: Goods <br/>
     * Function: 商品实体. <br/>*/public class Goods implements Serializable {    /**
         * serialVersionUID:序列化ID.     */
        private static final long serialVersionUID = 6803791908148880587L;    
        /**
         * id:主键id.     */
        private int id;    
        /**
         * status:商品状态:1未下单、2已下单.     */
        private int status;    
        /**
         * name:商品名称.     */
        private String name;    
        /**
         * version:商品数据版本号.     */
        private int version;
        
        @Override    public String toString(){        return "good id:"+id+",goods status:"+status+",goods name:"+name+",goods version:"+version;
        }    //setter and getter}

    GoodsDao

    /**
     * updateGoodsUseCAS:使用CAS(Compare and set)更新商品信息
     * @param goods 商品对象
     * @return 影响的行数 */int updateGoodsUseCAS(Goods goods);

    mapper.xml 

    <update id="updateGoodsUseCAS" parameterType="Goods">
        <![CDATA[
            update t_goods
            set status=#{status},name=#{name},version=version+1
            where id=#{id} and version=#{version}    ]]></update>

    GoodsDaoTest测试类  

    @Testpublic void goodsDaoTest(){    int goodsId = 1;    //根据相同的id查询出商品信息,赋给2个对象
        Goods goods1 = this.goodsDao.getGoodsById(goodsId);
        Goods goods2 = this.goodsDao.getGoodsById(goodsId);    
        //打印当前商品信息    System.out.println(goods1);
        System.out.println(goods2);    
        //更新商品信息1
        goods1.setStatus(2);//修改status为2
        int updateResult1 = this.goodsDao.updateGoodsUseCAS(goods1);
        System.out.println("修改商品信息1"+(updateResult1==1?"成功":"失败"));    
        //更新商品信息2
        goods1.setStatus(2);//修改status为2
        int updateResult2 = this.goodsDao.updateGoodsUseCAS(goods1);
        System.out.println("修改商品信息2"+(updateResult2==1?"成功":"失败"));
    }

     输出结果:

    good id:1,goods status:1,goods name:道具,goods version:1  
    good id:1,goods status:1,goods name:道具,goods version:1  
    修改商品信息1成功  
    修改商品信息2失败

     说明:

      在GoodsDaoTest测试方法中,我们同时查出同一个版本的数据,赋给不同的goods对象,然后先修改good1对象然后执行更新操作,执行成功。然后我们修改goods2,执行更新操作时提示操作失败。此时t_goods表中数据如下:

    mysql> select * from t_goods;+----+--------+------+---------+| id | status | name | version |+----+--------+------+---------+|  1 |      2 | 道具 |       2 ||  2 |      2 | 装备 |       2 |+----+--------+------+---------+2 rows in setmysql>

     我们可以看到 id为1的数据version已经在第一次更新时修改为2了。所以我们更新good2时update where条件已经不匹配了,所以更新不会成功,具体sql如下:

    update t_goods 
    set status=2,version=version+1where id=#{id} and version=#{version};

     这样我们就实现了乐观锁 

    悲观锁应用

    需要使用数据库的锁机制,比如SQL SERVER 的TABLOCKX(排它表锁) 此选项被选中时,SQL  Server  将在整个表上置排它锁直至该命令或事务结束。这将防止其他进程读取或修改表中的数据。

    SqlServer中使用 

    Begin Tran
    select top 1 @TrainNo=T_NO
             from Train_ticket   with (UPDLOCK)   where S_Flag=0
    
          update Train_ticket
             set T_Name=user,
                 T_Time=getdate(),
                 S_Flag=1
             where T_NO=@TrainNo
    commit

    我们在查询的时候使用了with (UPDLOCK)选项,在查询记录的时候我们就对记录加上了更新锁,表示我们即将对此记录进行更新. 注意更新锁和共享锁是不冲突的,也就是其他用户还可以查询此表的内容,但是和更新锁和排它锁是冲突的.所以其他的更新用户就会阻塞. 

    参考:乐观锁与悲观锁——解决并发问题 

    参考:mysql 的MVCC(多版本并发控制)

    参考:多版本并发控制

  • 相关阅读:
    【Shell】 计算文件 交集,并集和差集
    http协议--Apache-Httpd服务基本配置-rpm安装-编译安装(HTTP2.2,HTTP2.4)
    进程管理工具
    Linux系统原理(工作模式)
    网络协议和管理
    网络通信安全基础(加密方式,OpenSSL)
    BZOJ 2969 期望
    BZOJ 2118 Dijkstra
    BZOJ 1407 exgcd
    BZOJ 2406 二分+有上下界的网络流判定
  • 原文地址:https://www.cnblogs.com/aspirant/p/6920987.html
Copyright © 2020-2023  润新知