• springboot整合多数据源以及多数据源中的事务处理


    前言

    本篇文章主要介绍的是springboot整合多数据源以及多数据源事务处理。
    多数据源就是在同一个项目中连接多个数据库,使用多个数据库可能是由于业务量扩大进行数据库拆分,也可能是根据项目实际情况需要连接多个数据库。比如我之前有个项目,需要访问一个已有的数据库进行查询操作,但不能修改,还需要新建数据库表进行其他的业务处理,这时就需要使用多数据源。

    GitHub源码链接位于文章底部。

    创建数据库

    创建member数据库,添加一张user表,字段为id主键自增,name,age;
    创建order数据库,添加一张order表,字段为id主键自增,number;

    工程结构

    先来看一下工程结构,这里的demo使用会员数据库和订单数据库,建立member和order相关包和类。

    引入依赖

    在pom文件中引入依赖,这里持久层框架使用的是mybatis,数据库引擎是mysql。不过oracle也适用。

        <parent>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-parent</artifactId>
            <version>2.1.3.RELEASE</version>
        </parent>
    
        <dependencies>
            <dependency>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-web</artifactId>
            </dependency>
            <!-- MySQL 连接驱动依赖 -->
            <dependency>
                <groupId>mysql</groupId>
                <artifactId>mysql-connector-java</artifactId>
                <version>5.1.39</version>
            </dependency>
            <dependency>
                <groupId>org.mybatis.spring.boot</groupId>
                <artifactId>mybatis-spring-boot-starter</artifactId>
                <version>1.3.2</version>
            </dependency>
        </dependencies>
    

    yml配置

    在application.yml中进行数据源配置

    server:
      port: 8080
    spring:
      datasource:
        member:
          jdbc-url: jdbc:mysql://localhost:3306/member?useUnicode=true&characterEncoding=utf-8
          username: root
          password: root
          driver-class-name: com.mysql.jdbc.Driver
        order:
          jdbc-url: jdbc:mysql://localhost:3306/order?useUnicode=true&characterEncoding=utf-8
          username: root
          password: root
          driver-class-name: com.mysql.jdbc.Driver
    

    这里数据源的url的key是'jdbc-url',在多数据源的情况下,使用'url'作为key会报错,这是它本身的一个bug。

    数据源配置类

    在config目录中创建member文件夹,在member文件夹中创建MemberDatasourceConfig进行数据源配置。

    @Configuration
    @MapperScan(value = "com.lxg.mapper.member",sqlSessionTemplateRef = "memberSqlSessionTemplate")
    public class MemberDatasourceConfig {
        /**
         * 创建DataSource
         * @return
         */
        @Bean("memberDataSource")
        @ConfigurationProperties(prefix = "spring.datasource.member")
        public DataSource memberDataSource(){
            return DataSourceBuilder.create().build();
        }
    
        /**
         * 创建sqlSessionFactory
         * @param dataSource
         * @return
         * @throws Exception
         */
        @Bean(name = "memberSqlSessionFactory")
        public SqlSessionFactory memberSqlSessionFactory(@Qualifier("memberDataSource") DataSource dataSource) throws Exception {
            SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
            sqlSessionFactoryBean.setDataSource(dataSource);
            return sqlSessionFactoryBean.getObject();
        }
    
        /**
         * 创建事务管理器
         * @param dataSource
         * @return
         */
        @Bean(name = "memberTransactionManager")
        public DataSourceTransactionManager memberTransactionManager(@Qualifier("memberDataSource") DataSource dataSource) {
            return new DataSourceTransactionManager(dataSource);
        }
    
        /**
         * 创建sqlSession模板
         * @param sqlSessionFactory
         * @return
         */
        @Bean(name = "memberSqlSessionTemplate")
        public SqlSessionTemplate memberSqlSessionTemplate(@Qualifier("memberSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
            return new SqlSessionTemplate(sqlSessionFactory);
        }
    }
    

    在config目录中创建order文件夹,在order文件夹中创建OrderDatasourceConfig进行数据源配置。

    @Configuration
    @MapperScan(value = "com.lxg.mapper.order",sqlSessionTemplateRef = "orderSqlSessionTemplate")
    public class OrderDatasourceConfig {
        /**
         * 创建DataSource
         * @return
         */
        @Bean("orderDataSource")
        @ConfigurationProperties(prefix = "spring.datasource.order")
        public DataSource orderDataSource(){
            return DataSourceBuilder.create().build();
        }
    
        /**
         * 创建sqlSessionFactory
         * @param dataSource
         * @return
         * @throws Exception
         */
        @Bean(name = "orderSqlSessionFactory")
        public SqlSessionFactory orderSqlSessionFactory(@Qualifier("orderDataSource") DataSource dataSource) throws Exception {
            SqlSessionFactoryBean sqlSessionFactoryBean = new SqlSessionFactoryBean();
            sqlSessionFactoryBean.setDataSource(dataSource);
            return sqlSessionFactoryBean.getObject();
        }
    
        /**
         * 创建事务管理器
         * @param dataSource
         * @return
         */
        @Bean(name = "orderTransactionManager")
        public DataSourceTransactionManager orderTransactionManager(@Qualifier("orderDataSource") DataSource dataSource) {
            return new DataSourceTransactionManager(dataSource);
        }
    
        /**
         * 创建sqlSession模板
         * @param sqlSessionFactory
         * @return
         */
        @Bean(name = "orderSqlSessionTemplate")
        public SqlSessionTemplate orderSqlSessionTemplate(@Qualifier("orderSqlSessionFactory") SqlSessionFactory sqlSessionFactory) {
            return new SqlSessionTemplate(sqlSessionFactory);
        }
    }
    

    SpringBoot2.0以前需要在方法上加Primary注解,来判断默认的数据库连接。
    Configuration注解定义当前类为配置类,相当于xml,配合Bean注解将方法注入到spring容器中。
    MapperScan注解定义了持久层的扫包范围,并且指定这个包配置的是哪个数据源。
    ConfigurationProperties注解是springboot的注解,它指定了使用application.yml文件中哪个数据源的配置。

    Mapper层

    在mapper目录下创建member文件夹,在member文件夹中创建MemberMapper.java,添加一条插入语句。

    @Repository
    public interface MemberMapper {
        /**
         * 添加会员
         * @param name 姓名
         * @param age 年龄
         * @return
         */
        @Insert("insert into user values(null,#{name},#{age});")
        public int addUser(@Param("name") String name, @Param("age") Integer age);
    }
    

    在mapper目录下创建order文件夹,在order文件夹中创建MemberMapper.java,添加一条插入语句。

    @Repository
    public interface OrderMapper {
        /**
         * 添加订单
         * @param number 数量
         * @return
         */
        @Insert("insert into `order` values(null,#{number});")
        public int addOrder(@Param("number") Integer number);
    }
    

    这里的order表名因为是数据库关键字,需要使用``符号,(英文输入法下键盘上tab键上面那个按)键进行引用,否则会报错。

    controller层

    在controller层中新建MultiDatasourceController

    @RestController
    public class MultiDatasourceController {
        @Autowired
        private MemberMapper memberMapper;
        @Autowired
        private OrderMapper orderMapper;
    
    
        /**
         * 调用member数据库
         * @param name
         * @param age
         * @return
         */
        @Transactional(rollbackFor = Exception.class,transactionManager = "memberTransactionManager")
        @RequestMapping("/addUser")
        public String addUser(String name, Integer age)  {
            return memberMapper.addUser(name, age)>0?"success":"fail";
        }
    
        /**
         * 调用order数据库
         * @param number
         * @return
         */
        @Transactional(rollbackFor = Exception.class,transactionManager = "orderTransactionManager")
        @RequestMapping("/addOrder")
        public String addOrder(Integer number) {
            int i = 10 / number;
            return orderMapper.addOrder(number)>0?"success":"fail";
        }
    }
    

    方法上添加Transactional注解,进行事务管理,指定事务管理器,就是我们之前在config中配置的。
    这样的话比如addOrder中,如果输入的参数number为0,就会失败回滚。
    在浏览器中分别访问这两个接口,就可以看到两个数据库中的分别插入数据了。
    order数据库


    member数据库

    多数据源事务处理

    但是上面这种事务处理还是单数据源的处理方式,如果两个数据源在同一个事务中时,就无法完全回滚了。

        @Transactional(rollbackFor = Exception.class,transactionManager = "orderTransactionManager")
        @RequestMapping("/addOrderAndMember")
        public String addOrderAndMember(String name, Integer age,Integer number) {
            int i = memberMapper.addUser(name, age);
            int j = orderMapper.addOrder(number);
            int x = 10 / number;
            return j >0?"success":"fail";
        }
    

    比如这一段代码,因为指定的事务管理器是orderTransactionManager,所以 即使number为0的时候,memberMapper.addUser(name, age);这一段数据库操作是不会回滚的。
    这里需要使用jta-atomikos进行事务管理。
    pom中引入jta-atomikos依赖:

    <dependency>
    	<groupId>org.springframework.boot</groupId>
    	<artifactId>spring-boot-starter-jta-atomikos</artifactId>
    </dependency>
    

    修改application.yml文件,添加一些配置,注意,这里的数据库地址的key是'url',不然会报空指针。

    server:
      port: 8080
    spring:
      datasource:
        member:
          url: jdbc:mysql://localhost:3306/member?useUnicode=true&characterEncoding=utf-8
          username: root
          password: root
          driver-class-name: com.mysql.jdbc.Driver
          borrowConnectionTimeout: 30
          loginTimeout: 30
          maintenanceInterval: 60
          maxIdleTime: 60
          maxLifetime: 20000
          maxPoolSize: 25
          minPoolSize: 3
          uniqueResourceName: memberDataSource
        order:
          url: jdbc:mysql://localhost:3306/order?useUnicode=true&characterEncoding=utf-8
          username: root
          password: root
          driver-class-name: com.mysql.jdbc.Driver
          borrowConnectionTimeout: 30
          loginTimeout: 30
          maintenanceInterval: 60
          maxIdleTime: 60
          maxLifetime: 20000
          maxPoolSize: 25
          minPoolSize: 3
          uniqueResourceName: orderDataSource
    
    

    在config/member中添加MemberConfig配置类,属性与yml中的数据源配置是一致的

    @Data
    @ConfigurationProperties(prefix = "spring.datasource.member")
    public class MemberConfig {
        private String url;
        private String username;
        private String password;
        private int minPoolSize;
        private int maxPoolSize;
        private int maxLifetime;
        private int borrowConnectionTimeout;
        private int loginTimeout;
        private int maintenanceInterval;
        private int maxIdleTime;
        private String testQuery;
        private String uniqueResourceName;
    }
    

    在config/order中添加OrderConfig配置类,属性与yml中的数据源配置是一致的

    @Data
    @ConfigurationProperties(prefix = "spring.datasource.order")
    public class OrderConfig {
        private String url;
        private String username;
        private String password;
        private int minPoolSize;
        private int maxPoolSize;
        private int maxLifetime;
        private int borrowConnectionTimeout;
        private int loginTimeout;
        private int maintenanceInterval;
        private int maxIdleTime;
        private String testQuery;
        private String uniqueResourceName;
    }
    

    Data注解提供get/set方法。
    ConfigurationProperties注解负责解析对应属性在yml文件的前缀。

    修改创建memberDataSource的方法,这里memberConfig可能会报红无法注入,先不用管,之后在启动类上加上一个注解即可消除,文章稍后会讲到。可以看到,这里的ConfigurationProperties注解被删除了,因为被移到MemberConfig里了。

        @Bean("memberDataSource")
        public DataSource memberDataSource(MemberConfig memberConfig) throws SQLException {
            System.out.println(memberConfig);
            MysqlXADataSource mysqlXaDataSource = new MysqlXADataSource();
            mysqlXaDataSource.setUrl(memberConfig.getUrl());
            mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
            mysqlXaDataSource.setPassword(memberConfig.getPassword());
            mysqlXaDataSource.setUser(memberConfig.getUsername());
            mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
            //注册到全局事务
            AtomikosDataSourceBean xaDataSource = new AtomikosDataSourceBean();
            xaDataSource.setXaDataSource(mysqlXaDataSource);
            xaDataSource.setUniqueResourceName(memberConfig.getUniqueResourceName());
            xaDataSource.setMinPoolSize(memberConfig.getMinPoolSize());
            xaDataSource.setMaxPoolSize(memberConfig.getMaxPoolSize());
            xaDataSource.setMaxLifetime(memberConfig.getMaxLifetime());
            xaDataSource.setBorrowConnectionTimeout(memberConfig.getBorrowConnectionTimeout());
            xaDataSource.setLoginTimeout(memberConfig.getLoginTimeout());
            xaDataSource.setMaintenanceInterval(memberConfig.getMaintenanceInterval());
            xaDataSource.setMaxIdleTime(memberConfig.getMaxIdleTime());
            xaDataSource.setTestQuery(memberConfig.getTestQuery());
            return xaDataSource;
        }
    

    之后删除或者注释掉该类中的事务管理器,也就是下面这一段代码:

        /**
         * 创建事务管理器
         * @param dataSource
         * @return
         */
        @Bean(name = "memberTransactionManager")
        public DataSourceTransactionManager memberTransactionManager(@Qualifier("memberDataSource") DataSource dataSource) {
            return new DataSourceTransactionManager(dataSource);
        }
    

    修改创建orderDataSource的方法,这里orderConfig可能会报红无法注入,先不用管,之后在启动类上加上一个注解即可消除,文章稍后会讲到。可以看到,这里的ConfigurationProperties注解被删除了,因为被移到OrderConfig里了。

    @Bean("orderDataSource")
        public DataSource orderDataSource(OrderConfig orderConfig) throws SQLException {
            System.out.println(orderConfig);
            MysqlXADataSource mysqlXaDataSource = new MysqlXADataSource();
            mysqlXaDataSource.setUrl(orderConfig.getUrl());
            mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
            mysqlXaDataSource.setPassword(orderConfig.getPassword());
            mysqlXaDataSource.setUser(orderConfig.getUsername());
            mysqlXaDataSource.setPinGlobalTxToPhysicalConnection(true);
    
            //注册到全局事务
            AtomikosDataSourceBean xaDataSource = new AtomikosDataSourceBean();
            xaDataSource.setXaDataSource(mysqlXaDataSource);
            xaDataSource.setUniqueResourceName(orderConfig.getUniqueResourceName());
            xaDataSource.setMinPoolSize(orderConfig.getMinPoolSize());
            xaDataSource.setMaxPoolSize(orderConfig.getMaxPoolSize());
            xaDataSource.setMaxLifetime(orderConfig.getMaxLifetime());
            xaDataSource.setBorrowConnectionTimeout(orderConfig.getBorrowConnectionTimeout());
            xaDataSource.setLoginTimeout(orderConfig.getLoginTimeout());
            xaDataSource.setMaintenanceInterval(orderConfig.getMaintenanceInterval());
            xaDataSource.setMaxIdleTime(orderConfig.getMaxIdleTime());
            xaDataSource.setTestQuery(orderConfig.getTestQuery());
            return xaDataSource;
        }
    

    之后删除或者注释掉该类中的事务管理器,也就是下面这一段代码:

       /**
         * 创建事务管理器
         * @param dataSource
         * @return
         */
        @Bean(name = "orderTransactionManager")
        public DataSourceTransactionManager orderTransactionManager(@Qualifier("orderDataSource") DataSource dataSource) {
            return new DataSourceTransactionManager(dataSource);
        }
    

    Transactional注解的transactionManager属性需要删除,因为不需要指定事务管理器了,统一为xa事务管理器。

    在启动类中添加EnableConfigurationProperties注解,解决之前提到的配置类报红显示无法注入的问题。

    @SpringBootApplication
    @EnableConfigurationProperties({MemberConfig.class, OrderConfig.class})
    public class MultiDatasourceApplication {
        public static void main(String[] args) {
            SpringApplication.run(MultiDatasourceApplication.class);
        }
    }
    

    此时调用这个接口,如果number为0,报了异常,两个添加方法都会回滚了。

        @Transactional(rollbackFor = Exception.class )
        @RequestMapping("/addOrderAndMember")
        public String addOrderAndMember(String name, Integer age,Integer number) {
            int i = memberMapper.addUser(name, age);
            int j = orderMapper.addOrder(number);
            int x = 10 / number;
            return j >0?"success":"fail";
        }
    

    注意:
    如果这里的整合了mybatis-plus,需要修改sqlSessionFactory为mybatis-plus的MybatisSqlSessionFactoryBean。并且整合多数据源后,mybatis-plus的分页会出现问题,mybatis-plus的TableLogic逻辑删除注解也会出现问题,需要重新加载分页插件和逻辑删除插件,即MemberDatasourceConfig和OrderDatasourceConfig中的sqlSessionFactory应该修改为

        /**
         * 创建sqlSessionFactory
         * @param dataSource
         * @return
         * @throws Exception
         */
        @Bean(name = "memberSqlSessionFactory")
        public SqlSessionFactory memberSqlSessionFactory(@Qualifier("memberDataSource") DataSource dataSource) throws Exception {
    		//逻辑删除 如果值为1,表示已经删除,如果为0,表示未删除
            GlobalConfiguration globalConfig = new GlobalConfiguration();
            globalConfig.setLogicDeleteValue("1");
            globalConfig.setLogicNotDeleteValue("0");
            globalConfig.setSqlInjector(new LogicSqlInjector());
            //分页插件
            MybatisConfiguration configuration = new MybatisConfiguration();
            configuration.addInterceptor(new PaginationInterceptor());
    
            MybatisSqlSessionFactoryBean sqlSessionFactoryBean = new MybatisSqlSessionFactoryBean();
            sqlSessionFactoryBean.setDataSource(dataSource);
            sqlSessionFactoryBean.setConfiguration(configuration);
            sqlSessionFactoryBean.setGlobalConfig(globalConfig);
            return sqlSessionFactoryBean.getObject();
        }
    

    如果任使用mybatis的SqlSessionFactoryBean,当调用BaseMapper的方法时,会报Invalid bound statement (not found)异常。

    设置日志文件目录

    在yml文件中添加配置

    spring: 
    	jta:
        	log-dir: /logs
    

    本文GitHub源码:https://github.com/lixianguo5097/springboot/tree/master/springboot-multiDatasource

    CSDN:https://blog.csdn.net/qq_27682773
    简书:https://www.jianshu.com/u/e99381e6886e
    博客园:https://www.cnblogs.com/lixianguo
    个人博客:https://www.lxgblog.com

  • 相关阅读:
    sublime
    C++两种字符串传参构造函数
    Navicat 导入Excel与增加主键
    5,做一个用户登录之后查看学员信息的小例子
    4,Flask 中的 request
    3,Flask 中的模板语言 Jinja2 及 render_template 的深度用法
    2,Flask 中的 Render Redirect HttpResponse
    1,flask简介
    11,手动绘制散点图的背景颜色
    10,knn手写数字识别
  • 原文地址:https://www.cnblogs.com/lixianguo/p/12522442.html
Copyright © 2020-2023  润新知