• 华为云分布式数据库中间件DDM和开源MyCAT对比


    前言

    华为云分布式数据库中间件(Distributed Database Middleware)是解决数据库容量、性能瓶颈和分布式扩展问题的中间件服务,提供分库分表、读写分离、弹性扩容等能力,应对海量数据的高并发访问场景,有效提升数据库读写性能。

    图1:DDM产品介绍

    DDM前世之:MyCAT

    MyCAT的使用情况全国范围内粗略统计超过600家以上成功案例,涵盖政府、金融、证券、互联网、物联网、电信、游戏等众多行业。支持1000亿大数据,中国非常活跃的开源分布式数据库中间件。MyCAT成功在于背后有一支强大的技术团队,其参与者都是5年以上资深软件工程师、架构师、DBA。

    DDM与MyCAT的关系:DDM是基于MyCAT1.6.5版本增强而来。基于MyCAT增强的地方如下:

    1、运维管理:DDM提供Console界面,可在线对DDM实例、逻辑库、逻辑表、拆分规则等进行管理和维护

    2、集群高可用:DDM支持集群高可用,可实现跨AZ,RDS也支持跨AZ

    3、安全增强:支持VPC(虚拟私有云)、子网、安全组,与其他租户网络隔离

    4、质量保证:在质量方面补充了大量自动化测试用例(功能、性能),全方位进行质量保障措施

    5、低成本:稳定的产品,完善的运维和技术支持,相比开源产品总体性价比更高;多种实例规格配置覆盖不同业务规模场景,按需购买

    6、性能增强:DDM与直连MySQL相比性能损耗得到了大大的降低,并且Sysbench OLTP场景性能得到飞跃的提升,性能数据如表2所示:

    表2:OLTP性能测试

    7、平滑扩容:在数据库出现存储容量瓶颈时,DDM支持通过添加新的RDS实例对存储容量进行扩展,无容量上限,扩容无需应用改造,支持字符串、数字、日期等多种拆纬度,扩容进度支持可视化跟踪,并且平滑扩容业务不中断。平滑扩容原理如图3所示:

    图3:平滑扩容原理

    8、分布式事务:DDM当前支持单机、最大努力提交、最终一致性和强一致性四种分布式事务模型。弥补了开源MyCAT没有分布式事务的不足。如下针对DDM提供的分布式事务进行介绍

    DDM事务模型

    单机

    只能在单个分片上执行,如果事务涉及到多分片,DDM将拒绝执行,返回错误。原理如图4所示。

    图4:单机分布式事务

    适用场景:适合业务拆分比较合理,在应用层有独自完善的事务处理框架,到DDM的事务都是单分片事务,单分片事务由底层数据库提供强一致性的保证。单机事务模型下,如果出现跨分片的事务,会报错进行提示,避免达不到预期目的。

    最大努力提交

    事务在各分片上分别提交,互不干涉,提交结果尽最大可能保持一致,但有部分提交成功部分提交失败的可能,原理如图5所示。

    图5:最大努力提交事务模型

    适用场景:这种分布式事务适合绝大部分不涉及金钱往来的业务,在性能和一致性之间比较好的一个平衡。事务中的commit往多个节点发送执行,有部分commit成功部分commit失败的可能性,但是这种情况出现的可能性比较低,只有在commit的时间窗内出现异常才有可能出现。

    最终一致性

    事务在各分片上的提交结果不保证始终一致,如果有分片提交失败,DDM会对其他提交成功的分片提供补偿机制撤消之前的修改,从而确保各分片事务状态最终一致。

    说明:最终一致性与强一致性这两种分布式事务的原理基本一致,区别在于:

    最终一致性场景下,如有并发的查询请求,查询到的结果可能不是最终状态,如部分分片已完成提交,部分分片还在提交中,即存在中间状态。

    强一致性场景下,如有并发的查询请求,查询结果是事务提交完成后的结果,即不存在中间状态。

    适用场景:适合对一致性要求比较高的场景,最终一致性解决了最大努力提交模型下部分commit成功部分失败的问题。如果对部分读的sql一致性要求比较高,还可以通过select for update或者lock in share mode来避免读取到不一致状态(部分成功部分失败)。

    例如:

    select col1, col2,...coln from table1 where col1={拆分键} for update;

    select col1, col2,...coln from table1 where col1={拆分键} lock in share mode;

    where条件中建议带上拆分键。

    强一致性

    在最终一致性基础上,增强了分布式事务始终一致性保证,即任何时间点,各分片的数据都是事务开始前或者事务提交后的。

    适用场景

    适合对事务一致性有极端要求的场景,既要保证提交原子性、并且所有查询都必须避免脏读。一致性级别越高,付出性能代价会越大,请根据业务需要选择合适的模型。

    华为云分布式数据库中间件DDM不但针对MyCAT的功能进行增强和性能进行提高,而且把MyCAT存在的bug进行修复。DDM解决了单机关系型数据库对硬件依赖性强、扩展能力有限、数据量增大后扩容困难、数据库响应变慢等难题,通过分布式集群架构方案实现了“平滑扩容”,扩容过程中保持业务不中断。总的来说,分布式数据库中间件(DDM)具有扩容方便、性能卓越、简单易用、低成本和提供分布式事务等优势。

  • 相关阅读:
    Python正则表达式很难?一篇文章搞定他,不是我吹!
    该用Python还是SQL?4个案例教你节省时间
    解决mysql中只能通过localhost访问不能通过ip访问的问题
    MySql按周/月/日分组统计数据的方法
    jquery清空form表单
    eclipse 创建 maven web工程
    微信授权登录
    bootstrap滑动开关插件使用
    去除编译警告@SuppressWarnings注解用法详解(转)
    dataTables添加序号和行选中框
  • 原文地址:https://www.cnblogs.com/middleware/p/9927764.html
Copyright © 2020-2023  润新知