Amoeba实现mysql数据库主从、读写分离

1、什么是Amoeba？

　　Amoeba 的中文名是：变形虫。它是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。

　　Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。

　　Amoeba 由陈思儒开发，曾经就职阿里巴巴！该程序由 Java 程序开发。

2、Amoeba的优缺点

     优点：

     Amoeba主要解决以下问题：
     a). 数据切分后复杂数据源整合
     b). 提供数据切分规则并降低数据切分规则给数据库带来的影响
     c). 降低数据库与客户端连接
     d). 读写分离路由

     缺点：

     a)、目前还不支持事务
     b)、暂时不支持存储过程（近期会支持）
     c)、不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）
     d)、暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致

3、mysql主从复制原理

　（1）主从复制原理图

　　

     （2）工作过程

　　MySQL 主服务器开始写入数据，就会记录在二进制日志文件中。从服务器有两个线程，分别是 I/o线程 与 SQL 线程。这时从服务器就会让 I / O 线程在 主服务器上打开一个口，这时会读取二进制日志文件写入中继日志中，SQL 线程就会读取中继日志，并重放日志中的事件，从服务器就会通过日志来同步主服务器。

4、mysql读写分离原理

   （1）读写分离原理

　　

  （2）读写分离过程：

　    amoeba作为访问数据库的前端程序，当其接收到来自客户端或者是应用段的sql语句对数据库做处理的时候，将sql语句进行分类，比如sql语句中有select关键词则作为数据库读操作，否则作为数据库写操作。Amoeba作为数据库和客户端的中间件，会同时链接master数据库和slave数据库。由于一般网站读操作远多于写操作，所以我们定义master数据库做为写操作的数据库，slave数据库作为读操作的数据库。这样amoeba就会将来自于客户端的写操作路由到master数据库，将读操作路由到slave数据库，来实现读写分离功能。

5、服务器环境

　  

     主从复制这块就不做了，下面来看amoeba的 安装配置。

6、安装JDK

     由于amoeba是java写的，所以需要安装jdk环境（安装过程略）

7、Amoeba安装

       可以从https://sourceforge.net/projects/amoeba/下载最新版本的Amoeba，我这里下载的是amoeba-mysql-3.0.5-RC-distribution.zip。Amoeba安装非常简单，直接解压即可使用，这里将Amoeba解压到/usr/local/amoeba目录下，这样就安装完成了。

       

8、配置Amoeba

　　Amoeba的配置文件在本环境下位于/usr/local/amoeba/conf目录下。配置文件比较多，但是仅仅使用读写分离功能，只需配置两个文件即可，分别是dbServers.xml和amoeba.xml，如果需要配置ip访问控制，还需要修改access_list.conf文件。

　（1）修改dbServers.xml

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/">

        <!-- 
            Each dbServer needs to be configured into a Pool,
            If you need to configure multiple dbServer with load balancing that can be simplified by the following configuration:
             add attribute with name virtual = "true" in dbServer, but the configuration does not allow the element with name factoryConfig
             such as 'multiPool' dbServer   
        -->
        
    <dbServer name="abstractServer" abstractive="true">
        <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
            <property name="connectionManager">${defaultManager}</property>
            <property name="sendBufferSize">64</property>
            <property name="receiveBufferSize">128</property>
                
            <!-- mysql port -->
            <property name="port">3306</property>     #设置Amoeba要连接的mysql数据库的端口，默认是3306
            
            <!-- mysql schema -->
            <property name="schema">school</property>   #设置缺省的数据库，当连接amoeba时，操作表必须显式的指定数据库名，
即采用dbname.tablename的方式，不支持 use dbname指定缺省库，因为操作会调度到各个后端dbserver
            
            <!-- mysql user -->
            <property name="user">amoeba</property>    #设置amoeba连接后端数据库服务器的账号和密码，因此需要在所有后端数据库上创建该用户，并授权amoeba服务器可连接 
            
            <property name="password">password</property>
        </factoryConfig>

        <poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
            <property name="maxActive">500</property>   #最大连接数，默认500
            <property name="maxIdle">500</property>     #最大空闲连接数
            <property name="minIdle">1</property>       #最新空闲连接数
            <property name="minEvictableIdleTimeMillis">600000</property>
            <property name="timeBetweenEvictionRunsMillis">600000</property>
            <property name="testOnBorrow">true</property>
            <property name="testOnReturn">true</property>
            <property name="testWhileIdle">true</property>
        </poolConfig>
    </dbServer>

    <dbServer name="writedb"  parent="abstractServer">   #设置一个后端可写的dbServer，这里定义为writedb，这个名字可以任意命名，后面还会用到
        <factoryConfig>
            <!-- mysql ip -->
            <property name="ipAddress">172.16.40.2</property>  #设置后端可写dbserver
        </factoryConfig>
    </dbServer>
    
    <dbServer name="readdb"  parent="abstractServer">    #设置后端可读dbserver
        <factoryConfig>
            <!-- mysql ip -->
            <property name="ipAddress">172.16.40.85</property>
        </factoryConfig>
    </dbServer>
    
    <dbServer name="myslave" virtual="true">    #设置定义一个虚拟的dbserver，实际上相当于一个dbserver组，这里将可读的数据库ip统一放到一个组中
        <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
            <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
            <property name="loadbalance">1</property>   #选择调度算法，1表示复制均衡，2表示权重，3表示HA， 这里选择1
            
            <!-- Separated by commas,such as: server1,server2,server1 -->
            <property name="poolNames">readdb</property>   #myslave组成员
        </poolConfig>
    </dbServer>
        
</amoeba:dbServers>

    （2）修改amoeba.xml文件

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

    <proxy>
    
        <!-- service class must implements com.meidusa.amoeba.service.Service -->
        <service name="Amoeba for Mysql" class="com.meidusa.amoeba.mysql.server.MySQLService">
            <!-- port -->
            <property name="port">8066</property>   #设置amoeba监听的端口，默认是8066
            
            <!-- bind ipAddress -->
            <!-- 
            <property name="ipAddress">127.0.0.1</property>
             -->
            <property name="ipAddress">172.16.40.92</property>   #下面配置监听的接口，如果不设置，默认监听所以的IP
            
            <property name="connectionFactory">
                <bean class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                    <property name="sendBufferSize">128</property>
                    <property name="receiveBufferSize">64</property>
                </bean>
            </property>
            
            <property name="authenticateProvider">
                <bean class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">
                    
                    <property name="user">amoeba</property>   # 提供客户端连接amoeba时需要使用这里设定的账号 (这里的账号密码和amoeba连接后端数据库服务器的密码无关)
                    
                    <property name="password">123456</property>
                    
                    <property name="filter">
                        <bean class="com.meidusa.toolkit.net.authenticate.server.IPAccessController">
                            <property name="ipFile">${amoeba.home}/conf/access_list.conf</property>
                        </bean>
                    </property>
                </bean>
            </property>
            
        </service>
        
        <runtime class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">
            
            <!-- proxy server client process thread size -->
            <property name="executeThreadSize">128</property>
            
            <!-- per connection cache prepared statement size  -->
            <property name="statementCacheSize">500</property>
            
            <!-- default charset -->
            <property name="serverCharset">utf8</property>
            
            <!-- query timeout( default: 60 second , TimeUnit:second) -->
            <property name="queryTimeout">60</property>
        </runtime>
        
    </proxy>
    
    <!-- 
        Each ConnectionManager will start as thread
        manager responsible for the Connection IO read , Death Detection
    -->
    <connectionManagerList>
        <connectionManager name="defaultManager" class="com.meidusa.toolkit.net.MultiConnectionManagerWrapper">
            <property name="subManagerClassName">com.meidusa.toolkit.net.AuthingableConnectionManager</property>
        </connectionManager>
    </connectionManagerList>
    
        <!-- default using file loader -->
    <dbServerLoader class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
        <property name="configFile">${amoeba.home}/conf/dbServers.xml</property>
    </dbServerLoader>
    
    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
        <property name="ruleLoader">
            <bean class="com.meidusa.amoeba.route.TableRuleFileLoader">
                <property name="ruleFile">${amoeba.home}/conf/rule.xml</property>
                <property name="functionFile">${amoeba.home}/conf/ruleFunctionMap.xml</property>
            </bean>
        </property>
        <property name="sqlFunctionFile">${amoeba.home}/conf/functionMap.xml</property>
        <property name="LRUMapSize">1500</property>
        <property name="defaultPool">writedb</property>   #设置amoeba默认的池，这里设置为writedb
        
        
        <property name="writePool">writedb</property>    #这两个选项默认是注销掉的，需要取消注释，这里用来指定前面定义好的俩个读写池
        <property name="readPool">myslave</property>
    
        <property name="needParse">true</property>
    </queryRouter>
</amoeba:configuration>

 9、启动Amoeba

      进入目录/usr/local/amoeba/bin 下，启动amoeba,发现报错：

      

     两个原因：

     （1）java8 中没有Perm，将/usr/local/amoeba/jvm.properties这个文件中直接删除Perm相关参数设置。

     （2）stack设置的太小，设置如下： JVM_OPTIONS="-server -Xms1024m -Xmx1024m -Xss256k"

　 然后杀死amoeba的进程，重新运行amoeba。

　　

 　查看一下监听端口：

　　# lsof -i:8066

10、验证读写分离

   （1）创建一个数据库查看主从上是不是成功同步了

　　MariaDB > create database school;

   （2）分别在master和slave上为amoedb授权

　　MariaDB > grant all on school.* to 'amoeba'@'172.16.40.%' identified by 'password';

  （3）远程登陆mysql客户端通过指定amoeba配置文件中指定的用户名、密码、和端口以及amoeba服务器ip地址链接mysql数据库

　　# mysql -h 172.16.40.92 -P 8066 -uamoeba -p

  （4）在school数据库中创建info表并插入数据

　　MariaDB [school]> create table info (id int(10) primary , name varchar(50), score decimal(5,2));

　　MariaDB [school]> insert into info （id,name,score） values (1,'zhangsan',89);

  （5）分别在master和slave上查看插入的数据；　　

MariaDB [school]> select * from info;
+----+----------+-------+
| id | name | score |
+----+----------+-------+
| 1 | zhangsan | 89.00 |
+----+----------+-------+

   （6）停掉masterdb，然后在客户端分别执行插入和查询功能，发现master停掉后无法插入数据，但是可以查询

mysql> insert into info (id,name,score) values (2,'lisi',90);
ERROR 1044 (42000): Amoeba could not connect to MySQL server[172.16.40.2:3306],拒绝连接

mysql> select * from info;
+----+----------+-------+
| id | name | score |
+----+----------+-------+
| 1 | zhangsan | 89.00 |
| 2 | lisi | 90.00 |
+----+----------+-------+

　(7) 开启master，然后停止slave,分别在客户端插入和查询，返现无法查询，但是可以插入

mysql> insert into info (id,name,score) values (3,'lily',92);
Query OK, 1 row affected (0.05 sec)

mysql> select * from info;
ERROR 1044 (42000): poolName=myslave, no valid pools

（8）然后打开slave,查看同步情况，发现数据已经同步完成

MariaDB [school]> select * from info;
+----+----------+-------+
| id | name | score |
+----+----------+-------+
| 1 | zhangsan | 89.00 |
| 2 | lisi | 90.00 |
| 3 | lily | 92.00 |
+----+----------+-------+

  至此发现主从同步和读写分离是正常的。    

备注：

Amoeba主配置文件($AMOEBA_HOME/conf/amoeba.xml)，用来配置Amoeba服务的基本参数，如Amoeba主机地址、端口、认证方式、用于连接的用户名、密码、线程数、超时时间、其他配置文件的位置等。

数据库服务器配置文件($AMOEBA_HOME/conf/dbServers.xml)，用来存储和配置Amoeba所代理的数据库服务器的信息，如:主机IP、端口、用户名、密码等。

切分规则配置文件($AMOEBA_HOME/conf/rule.xml)，用来配置切分规则。

数据库函数配置文件($AMOEBA_HOME/conf/functionMap.xml)，用来配置数据库函数的处理方法，Amoeba将使用该配置文件中的方法解析数据库函数。

切分规则函数配置文件($AMOEBA_HOME/conf/ruleFunctionMap.xml)，用来配置切分规则中使用的用户自定义函数的处理方法。

访问规则配置文件($AMOEBA_HOME/conf/access_list.conf)，用来授权或禁止某些服务器IP访问Amoeba。

日志规格配置文件($AMOEBA_HOME/conf/log4j.xml)，用来配置Amoeba输出日志的级别和方式。