linux中mycat的配置，分片，以及主从复制

1.1    安装环境

1、jdk：要求jdk必须是1.7及以上版本

2、Mysql：推荐mysql是5.5以上版本

1.2  安装步骤

Mycat有windows、linux多种版本。本教程为linux安装步骤，windows基本相同。

第一步：下载Mycat-server-xxxx-linux.tar.gz

第二步：将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

第三步：进入mycat目录，启动mycat

./mycat start

停止：

./mycat stop

mycat 支持的命令{ console | start | stop | restart | status | dump }

Mycat的默认端口号为：8066

   Mycat的分片

1.1    需求

把商品表分片存储到三个数据节点上

1.2   安装环境分析

两台mysql数据库服务器：

Host1：192.168.25.134

Host2：192.168.25.166

 

host1环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 ：1.4 release

数据库名 : db1、db3

 

 

mysql节点2环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 ：1.4 release

数据库名 : db2

MyCat安装到节点1上（需要安装jdk）

Schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

<schema name="mycat007" checkSQLschema="false" sqlMaxLimit="100">

<!-- <table name="TB_ITEM" primaryKey="ID" dataNode="dn1,dn3,dn2" rule="auto-sharding-long" /> -->
<!-- <table name="user" primaryKey="ID" dataNode="dn1,dn3,dn2" rule="auto-sharding-long" /> -->
<table name="user" primaryKey="id" dataNode="dn1" rule="auto-sharding-long" />

</schema>

<!-- <dataNode name="dn1" dataHost="localhost128" database="db1" />
<dataNode name="dn3" dataHost="localhost128" database="db3" />
<dataNode name="dn2" dataHost="localhost129" database="db2" /> -->
<!-- 分片管理 -->
<dataNode name="dn1" dataHost="localhost3" database="db1" />
<dataHost name="localhost128" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.146.101:3306" user="root"
password="123456">

</writeHost>

</dataHost>
<dataHost name="localhost129" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.146.102:3306" user="root"
password="123456">

</writeHost>

</dataHost>
<dataHost name="localhost3" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
<heartbeat>show slave status</heartbeat>
<writeHost host="hostM" url="192.168.146.101:3306" user="root"
password="123456">
<readHost host="hostS" url="192.168.146.102:3306" user="root"
password="123456" />
</writeHost>
</dataHost>

</mycat:schema>

Server.xml配置

<user name="test">

    <property name="password">test</property>

    <property name="schemas">cctmall</property>

    <property name="readOnly">false</property>

</user>

注意：要和Schema.xml保持一致

测试分片

由于配置的分片规则为“auto-sharding-long”，所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为：

Datanode1：1~5000000

Datanode2：5000001~10000000

Datanode3：10000001~15000000

 

当15000000以上的id插入时报错：

[Err] 1064 - can't find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。

Mycat读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置

  Mysql的主从复制

1、主DB server和从DB server数据库的版本一致

2、主DB server和从DB server数据库数据名称一致

3、主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一

 

   Mysql主服务器配置

第一步：修改my.cnf文件：

如果在/etc 下没有my.cnf

从/usr/share/mysql下复制一个过来/etc/，改一下名字即可my-default.cnf--> my.cnf

在[mysqld]段下添加：

binlog-do-db=db1

binlog-ignore-db=mysql

#启用二进制日志

log-bin=mysql-bin

#服务器唯一ID，一般取IP最后一段

server-id=134

第二步：重启mysql服务

service mysql restart

第三步：建立帐户并授权slave

mysql>GRANT FILE ON *.* TO 'backup'@'%' IDENTIFIED BY '123456';

注意：有时候会出现错误

错误：ERROR 1045 (28000): Access denied for user 'root'@'%' (using password: YES)

mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to 'backup'@'%' identified by '123456';

然后更改配置mysql中的user表中的grant 改为yes;

#一般不用root帐号，“%”表示所有客户端都可能连，只要帐号，密码正确，此处可用具体客户端IP代替，如192.168.145.226，加强安全

刷新权限

mysql> FLUSH PRIVILEGES;

 

查看mysql现在有哪些用户

mysql>select user,host from mysql.user;

 

第四步：查询master的状态

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 |      120 | db1          | mysql            |                   |

+------------------+----------+--------------+------------------+-------------------+

1 row in set

1.1    Mysql从服务器配置

第一步：修改my.cnf文件

[mysqld]

server-id=166

 

第二步：配置从服务器

mysql>change master to master_host='192.168.25.134',master_port=3306,master_user='backup',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=120

 

注意语句中间不要断开，master_port为mysql服务器端口号(无引号)，master_user为执行同步操作的数据库账户，“120”无单引号(此处的120就是show master status 中看到的position的值，这里的mysql-bin.000001就是file对应的值)。

 

第二步：启动从服务器复制功能

Mysql>start slave;

 

第三步：检查从服务器复制功能状态：

mysql> show slave status

 

……………………(省略部分)

Slave_IO_Running: Yes //此状态必须YES

Slave_SQL_Running: Yes //此状态必须YES

……………………(省略部分)

 

注：Slave_IO及Slave_SQL进程必须正常运行，即YES状态，否则都是错误的状态(如：其中一个NO均属错误)。

 

错误处理：

如果出现此错误：

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

因为是mysql是克隆的系统所以mysql的uuid是一样的，所以需要修改。

解决方法：

删除/var/lib/mysql/auto.cnf文件，重新启动服务。

 

 

    Mycat配置

Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制，让读更加安全可靠，配置如下：

   

<dataNode name="dn1" dataHost="localhost1" database="db1" />

    <dataNode name="dn2" dataHost="localhost1" database="db2" />

    <dataNode name="dn3" dataHost="localhost1" database="db3" />

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

       writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">

       <heartbeat>show slave status</heartbeat>

       <writeHost host="hostM" url="192.168.25.134:3306" user="root"

           password="root">

           <readHost host="hostS" url="192.168.25.166:3306" user="root"

           password="root" />

       </writeHost>

    </dataHost>

 

 

 

(1) 设置 balance="1"与writeType="0"

Balance参数设置：

1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。

2. balance=“1”，所有读操作都随机的发送到readHost。

3. balance=“2”，所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置：

1. writeType=“0”, 所有写操作都发送到可用的writeHost上。

2. writeType=“1”，所有写操作都随机的发送到readHost。

3. writeType=“2”，所有写操作都随机的在writeHost、readhost分上发。

 “readHost是从属于writeHost的，即意味着它从那个writeHost获取同步数据，因此，当它所属的writeHost宕机了，则它也不会再参与到读写分离中来，即“不工作了”，这是因为此时，它的数据已经“不可靠”了。基于这个考虑，目前mycat 1.3和1.4版本中，若想支持MySQL一主一从的标准配置，并且在主节点宕机的情况下，从节点还能读取数据，则需要在Mycat里配置为两个writeHost并设置banlance=1。”

(2) 设置 switchType="2" 与slaveThreshold="100"

switchType 目前有三种选择：

-1：表示不自动切换

1 ：默认值，自动切换

2 ：基于MySQL主从同步的状态决定是否切换

“Mycat心跳检查语句配置为 show slave status ，dataHost 上定义两个新属性： switchType="2" 与slaveThreshold="100"，此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。