• Mysql之读写分离架构-Atlas


    Atlas介绍

    ​ Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。
    它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性;
    ​ 360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条;

    下载地址
    https://github.com/Qihoo360/Atlas/releases
    注意:

    1、Atlas只能安装运行在64位的系统上

    2、Centos 5.X安装 Atlas-XX.el5.x86_64.rpm,Centos6.X安装Atlas-XX.el6.x86_64.rpm。

    3、后端mysql版本应大于5.1,建议使用Mysql 5.6以上

    4、8.0以上版本建议使用MySQL官方MySQL-Router

    主要功能

    • 读写分离
    • 从库负载均衡
    • IP过滤
    • 自动分表
    • DBA可平滑上下线DB
    • 自动摘除宕机的DB

    Atlas相对于官方MySQL-Proxy的优势
    1.将主流程中所有Lua代码用C重写,Lua仅用于管理接口

    2.重写网络模型、线程模型

    3.实现了真正意义上的连接池

    4.优化了锁机制,性能提高数十倍

    安装配置

    yum install -y Atlas*
    cd /usr/local/mysql-proxy/conf
    mv test.cnf test.cnf.bak
    
     vi test.cnf
    [mysql-proxy]
    
    #带#号的为非必需的配置项目
    
    #管理接口的用户名
    admin-username = root
    
    #管理接口的密码
    admin-password = MyNewPass!
    
    #Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔
    proxy-backend-addresses = 192.168.199.149:3306
    
    #Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔
    proxy-read-only-backend-addresses = 192.168.199.198:3306@1
    
    #用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码!
    #pwds = user1:+jKsgB3YAG8=, user2:GS+tr4TPgqc=
    pwds = root:EQOnCBjybDXeQgv6rMKE2w==
    
    #设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
    daemon = true
    
    #设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。
    keepalive = true
    
    #工作线程数,对Atlas的性能有很大影响,可根据情况适当设置
    event-threads = 8
    
    #日志级别,分为message、warning、critical、error、debug五个级别
    log-level = message
    
    #日志存放的路径
    log-path = /usr/local/mysql-proxy/log
    
    #SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘,默认为OFF
    sql-log = REALTIME
    
    #慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
    #sql-log-slow = 10
    
    #实例名称,用于同一台机器上多个Atlas实例间的区分
    instance = test
    
    #Atlas监听的工作接口IP和端口
    proxy-address = 192.168.199.227:8080
    
    #Atlas监听的管理接口IP和端口
    admin-address = 192.168.199.227:8081
    
    #分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项
    #tables = person.mt.id.3
    
    #默认字符集,设置该项后客户端不再需要执行SET NAMES语句
    charset = utf8
    
    #允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接
    #client-ips = 127.0.0.1, 192.168.1
    
    #Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置
    #lvs-ips = 192.168.1.1
    
    # 启动atlas
    /usr/local/mysql-proxy/bin/mysql-proxyd test start
    ps -ef |grep proxy
    
    两个进程,一个负责管理一个负责对外提供服务;
    

    Atlas功能测试

    # 测试读操作:
    mysql -umha -pmha  -h 192.168.0.8 -P 33060 
    db03 [(none)]>select @@server_id;
    
    # 测试写操作:
    mysql> begin;select @@server_id;commit;
    

    生产用户要求

    开发人员申请一个应用用户 app(  select  update  insert)  密码123456,要通过10网段登录
    1. 在主库中,创建用户
    grant select ,update,insert on *.* to app@'10.0.0.%' identified by '123456';
    2. 在atlas中添加生产用户
    /usr/local/mysql-proxy/bin/encrypt  123456      ---->制作加密密码
    vim test.cnf
    pwds = repl:3yb5jEku5h4=,mha:O2jBXONX098=,app:/iZxz+0GRoA=
    /usr/local/mysql-proxy/bin/mysql-proxyd test restart
    [root@db03 conf]# mysql -uapp -p123456  -h 10.0.0.53 -P 33060
    

    Atlas管理

    连接管理端口

    mysql -uuser -ppwd -h127.0.0.1 -P2345
    

    查询后端所有节点信息

    mysql>  SELECT * FROM backends    ;
    

    动态添加删除节点

    # 动态删除节点
    REMOVE BACKEND 3;
    
    # 动态添加节点
    ADD SLAVE 10.0.0.53:3306;
    
    # 保存配置文件
    SAVE CONFIG;
    

    自动分表

    介绍

    使用Atlas的分表功能时,首先需要在配置文件test.cnf设置tables参数。
    tables参数设置格式:数据库名.表名.分表字段.子表数量,
    比如:
    你的数据库名叫school,表名叫stu,分表字段叫id,总共分为2张表,那么就写为school.stu.id.2,如果还有其他的分表,以逗号分隔即可。
    

    读写分离

    MySQL-Router    ---> MySQL官方
    ProxySQL         --->Percona
    Maxscale         ---> MariaDB
    

    小结

    1、如果你是新表,并且预见以后数据很大,可以用上Atlas来解决数据量的问题;

    2、旧表的话,你还得自己写脚本导数据,核对数据;

    3、如果有些分页查询的话,还需要自己重写;

    4、确定你的所有场景的查询是否都有分表字段作为where,没有的话,需要自己再写工具将子表的数据同步到总表;

    可以看到Atlas如果需要产品化还要做很多的事情,如果确定上面都不是问题,就大胆的用吧

  • 相关阅读:
    C# 文件操作
    Wpf ListView展示风格
    PowerShell->>获取本地计算机的用户组和组成员
    MySQL->>innodb_autoinc_lock_mode参数控制auto_increment 插入数据时相关锁的模式
    SQL Server ->> 使用CROSS APPLY语句是遇到聚合函数中包含外部引用列时报错
    【转】Kettle发送邮件步骤遇到附件名是中文名变成乱码的问题解决办法
    SSIS ->> Excel Destination无法接受大于255个字符长度的字符字段
    SQL Server ->> 存储过程sp_describe_first_result_set解析T-SQL语句的结果集结构信息
    Windows ->> 解决Windows 10下面无法多用户同时远程桌面
    SQL Server ->> 查询添加XLOCK表提示不阻塞其他线程
  • 原文地址:https://www.cnblogs.com/you-men/p/14692181.html
Copyright © 2020-2023  润新知