MyCat专题(八)-MyCat全局序列之数据库方式

1.引言

读写分离：顾名思义，就是将插入、更新、删除等事务性的操作分发到主数据库master上，而将读请求分发到从数据库slave上，利用mysql主从同步，从数据库服务器将同步更新本机数据，这样就保证了两个数据库中数据一致性。

读写分离有几种实现方式，可以在应用层配置多个数据源，根据业务需求访问不同的数据，指定对应的策略，也可以使用动态切换数据源方式实现，也可以借助数据库中间件的方式实现，mycat就是基于中间件实现。

2.原理图

在应用层和数据库集群之间添加一个代理服务，应用层访问代理，代理根据请求类型(读/写)自动分流到不同的数据库服务器。

下面通过一个完整的示例，说明mycat如何实现读写分离。

3.读写分离实现

本示例需要利用mysql主从复制，需要提前搭建主从同步环境,可以参考上一篇博客https://blog.csdn.net/BruceLiu_code/article/details/104694515，提先搭建好主从复制。

3.1.读写分离实现

在主服务器上执行以下SQL：

create database septwriteread;
use septwriteread;
create table user(id int not null,name varchar(20));
 
create database septwriteread02;
use septwriteread02;
create table user(id int not null,name varchar(20));
1234567

同时，从库也同步过来了主库创建的数据库和表：

3.2.配置server.xml

	<user name="root" defaultAccount="true">
		<property name="password">root</property>
		<property name="schemas">TESTDB</property>
		
		<!-- 表级 DML 权限设置 -->
		<!-- 		
		<privileges check="false">
			<schema name="TESTDB" dml="0110" >
				<table name="tb01" dml="0000"></table>
				<table name="tb02" dml="1111"></table>
			</schema>
		</privileges>		
		 -->
	</user>

	<user name="user">
		<property name="password">user</property>
		<property name="schemas">TESTDB</property>
		<property name="readOnly">true</property>
	</user>
1234567891011121314151617181920

3.3.schema.xml配置分片节点、分片表等

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="user" primaryKey="id" rule="mod-long" dataNode="dn1,dn2" />
   </schema>
 
 <dataNode name="dn1" dataHost="localhost1" database="septwriteread" />
 <dataNode name="dn2" dataHost="localhost1" database="septwriteread02" />
 
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3"
                  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <!-- 主数据库130  -->
        <writeHost host="hostM1" url="192.168.70.128:3306" user="root"
                           password="123">
                <!-- 从数据库131  -->
                <readHost host="hostS1" url="192.168.70.130:3306" user="root" password="123" />
        </writeHost>
</dataHost>
	
</mycat:schema>
123456789101112131415161718192021222324

3.4.配置rule.xml

	<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
		<!-- how many data nodes -->
		<property name="count">2</property>
	</function>
	 
	<tableRule name="mod-long">
			<rule>
					<columns>id</columns>
					<algorithm>mod-long</algorithm>
			</rule>
	</tableRule>
1234567891011

在rule.xml修改配置文件

3.5.测试插入数据

在MyCat服务器192.168.70.129上面执行下面测试语句：

insert into user(id,name) values(1111111,database());
insert into user(id,name) values(2222222,database());
insert into user(id,name) values(3333333,database());
insert into user(id,name) values(4444444,database());
1234

重启mycat：

[root@centos1 bin]# ./mycat start
Starting Mycat-server...
[root@centos1 bin]# jps
16345 WrapperSimpleApp
16366 Jps
12345

登录mycat：

3.6.测试分析查询数据

select * from user;
1

下面分几种情况分析当balance取不同值，请求分发的情况如下：

修改log4j2.xml查看mycat.log debug日志级别

<Loggers>
    <!--<AsyncLogger name="io.mycat" level="info" includeLocation="true" additivity="false">-->
        <!--<AppenderRef ref="Console"/>-->
        <!--<AppenderRef ref="RollingFile"/>-->
    <!--</AsyncLogger>-->
    <asyncRoot level="debug" includeLocation="true">

        <!--<AppenderRef ref="Console" />-->
        <AppenderRef ref="RollingFile"/>

    </asyncRoot>
</Loggers>
123456789101112

【a】当balance=“3”，开启负载均衡，请求分发到writeHost对应的readHost。查看mycat.log debug日志，走从服务器192.168.70.130的hostS1节点。

2019-12-26 13:12:31.679 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.datasource.PhysicalDBPool.getRWBanlanceCon(PhysicalDBPool.java:551)) - select read source hostS1 for dataHost:localhost1
2019-12-26 13:12:31.679 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.MySQLConnection.synAndDoExecute(MySQLConnection.java:463)) - con need syn ,total syn cmd 1 commands SET names utf8mb4;schema change:false con:MySQLConnection [id=11, lastTime=1577337151679, user=root, schema=septwriteread, old shema=septwriteread, borrowed=true, fromSlaveDB=true, threadId=21, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{SHOW PROCEDURE STATUS WHERE Db='TESTDB'}, respHandler=SingleNodeHandler [node=dn1{SHOW PROCEDURE STATUS WHERE Db='TESTDB'}, packetId=0], host=192.168.70.130, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
12

【b】当balance=“0”，表示不开启负载均衡，查看mycat.log debug日志，走主服务器192.168.70.128，可见所有读操作都发送到writeHost中。

修改schema.xml中balance负载均衡的值：

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
                  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <!-- 主数据库130  -->
        <writeHost host="hostM1" url="192.168.70.128:3306" user="root"
                           password="123">
                <!-- 从数据库131  -->
                <readHost host="hostS1" url="192.168.70.130:3306" user="root" password="123" />
        </writeHost>
</dataHost>
1234567891011

然后重启mycat，在主库执行查询语句 select * from user;查看日志：

2019-12-26 13:15:48.866 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.datasource.PhysicalDBPool.getRWBanlanceCon(PhysicalDBPool.java:551)) - select read source hostM1 for dataHost:localhost1
2019-12-26 13:15:48.866 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.MySQLConnection.synAndDoExecute(MySQLConnection.java:463)) - con need syn ,total syn cmd 1 commands SET names utf8mb4;schema change:false con:MySQLConnection [id=8, lastTime=1577337348866, user=root, schema=septwriteread, old shema=septwriteread, borrowed=true, fromSlaveDB=false, threadId=39, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{SHOW STATUS}, respHandler=SingleNodeHandler [node=dn1{SHOW STATUS}, packetId=0], host=192.168.70.128, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
12

【c】当balance=“2”，表示请求随机分发到writeHost或者readhost。查看mycat.log debug日志，走192.168.8.128或者192.168.8.130，所有读操作都随机发送到writeHost或者readHost中。

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
                  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- can have multi write hosts -->
        <!-- 主数据库130  -->
        <writeHost host="hostM1" url="192.168.70.128:3306" user="root"
                           password="123">
                <!-- 从数据库131  -->
                <readHost host="hostS1" url="192.168.70.130:3306" user="root" password="123" />
        </writeHost>
</dataHost>
1234567891011

然后重启mycat，在主库执行查询语句 select * from user;查看日志：

2019-12-26 13:19:48.138 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.datasource.PhysicalDBPool.getRWBanlanceCon(PhysicalDBPool.java:551)) - select read source hostM1 for dataHost:localhost1
2019-12-26 13:19:48.138 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.MySQLConnection.synAndDoExecute(MySQLConnection.java:463)) - con need syn ,total syn cmd 1 commands SET names utf8mb4;schema change:false con:MySQLConnection [id=1, lastTime=1577337588138, user=root, schema=septwriteread, old shema=septwriteread, borrowed=true, fromSlaveDB=false, threadId=51, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{SELECT *
FROM user
LIMIT 100}, respHandler=io.mycat.backend.mysql.nio.handler.MultiNodeQueryHandler@713db746, host=192.168.70.128, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
1234
2019-12-26 13:21:30.387 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.datasource.PhysicalDBPool.getRWBanlanceCon(PhysicalDBPool.java:551)) - select read source hostS1 for dataHost:localhost1
2019-12-26 13:21:30.387 DEBUG [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.MySQLConnection.synAndDoExecute(MySQLConnection.java:436)) - not need syn connection :
MySQLConnection [id=13, lastTime=1577337690387, user=root, schema=septwriteread, old shema=septwriteread, borrowed=true, fromSlaveDB=true, threadId=27, charset=utf8, txIsolation=3, autocommit=true, attachment=dn1{SHOW STATUS}, respHandler=SingleNodeHandler [node=dn1{SHOW STATUS}, packetId=0], host=192.168.70.130, port=3306, statusSync=null, writeQueue=0, modifiedSQLExecuted=false]
123

【d】当balance=1时，开启读写分离机制，所有读操作都发送到当前writeHost对应的readHost和备用的writeHost上，通过日志分析所有读操作都发送到hostS1或者hostM2【让全部的readHost及备用的writeHost参与select的负载均衡。 】

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="2"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select user()</heartbeat>
    <!-- can have multi write hosts -->
    <!-- 主数据库130  -->
    <writeHost host="hostM1" url="192.168.8.128:3306" user="root"
                       password="123">
            <!-- 从数据库131  -->
            <readHost host="hostS1" url="192.168.8.130:3306" user="root" password="123" />
    </writeHost>
 
    <!-- stand by writehost -->
    <writeHost host="hostM2" url="192.168.8.130:3306" user="root"
                       password="123">
    </writeHost>
</dataHost>
12345678910111213141516

4.总结

下面补充一下dataHost节点中比较重要的三个属性以及各自值的含义，具体如下。

balance指的负载均衡类型，目前的取值有4种：

1. balance=”0”, 不开启读写分离机制，所有读操作都发送到当前可用的writeHost上；
2. balance=”1”，全部的readHost与stand bywriteHost参与select语句的负载均衡，简单的说，当双主双从模式(M1->S1，M2->S2，并且M1与 M2互为主备)，正常情况下，M2,S1,S2都参与select语句的负载均衡；
3. balance=”2”，所有读操作都随机的在writeHost、readhost上分发；
4. balance=”3”，所有读请求随机的分发到wiriterHost对应的readhost执行，writerHost不负担读压力；
1234

注意：balance=3只在1.4及其以后版本有，1.3没有；

writeType属性：

1.writeType=”0”,所有写操作发送到配置的第一个writeHost,第一个挂了切到还生存的第二个writeHost,重新启动后以切换后的为准，切换记录在配置文件中:dnindex.properties；
2.writeType=”1”,所有写操作都随机地发送到配置的writeHost,1.5以后废弃不推荐；
12

switchType指的是切换的模式，目前的取值也有4种：

1. switchType=’-1’ 表示不自动切换；
2. switchType=’1’ 默认值，表示自动切换；
3. switchType=’2’ 基于MySQL主从同步的状态决定是否切换,心跳语句为 show slave status；
4. switchType=’3’基于MySQLgalary cluster的切换机制（适合集群）（1.4.1），心跳语句为 show status like ‘wsrep%’；