2018云栖大会南京峰会企业级互联网架构专场,阿里巴巴高级数据架构师黄欢欢带来题为企业级数据架构探索之路的演讲。主要从企业数据库的发展现状、存在的问题以及企业级架构的需求开始谈起,针对其存在的问题提出了对应的解决方案,最后对企业级产品的架构以及满足企业及架构的需求问题做了详细的分析。
数十款阿里云产品限时折扣中,赶快点击这里,领券开始云上实践吧!
直播视频请点击
以下为精彩视频及ppt内容整理:
企业数据库现状
说起企业级数据库架构体系,在2010年阿里巴巴还没有一个完整的数据库架构体系且存在着很多问题,问题大致可以分为一下几点:
- 业务快速发展,如何才能做到弹性扩展、且性能满足要求:单体的IOE架构已经不能满足业务快速发展的需求,所以需要我们去做弹性的扩展,也就是既可以弹性扩容也可以弹性缩容的。
- 数据是最重要的资产,但数据孤岛却是现状:现如今应用都在做服务化,应用做服务话以后在每个地方都存在自己的数据,那么数据之间是如何流通的呢?以及怎样避免数据孤岛等问题值得思考。
- 稳定和高可用,已经成为企业数据库系统的最大挑战:对于企业级来说,这是一个普遍的问题,数据库的稳定性、高可用性是企业级数据库最基础的一个功能。
- 业务的多样化,单一的数据存储无法有效满足需求:我们发现业务正逐渐的多元化,单一的数据库已经不能很好的满足业务发展的需求,那么我们在统一化的支撑和个性化的支持下如何做权衡也是我们要考虑的问题。
- 研究人员众多,数据安全、效率、规范的挑战很大。
企业级架构的基本诉求
1)可扩展性:可扩展性与容量的扩展并不完全相同,更多指的是架构上的可扩展以及弹性的需求。
2)稳定可靠:系统的稳定性和高可用。
3)高效:可分为两层含义理解,首先企业级架构数据库之后,我们如何高效地、自动地去运维数据库;其次,研发的人员越来越多,如何利用自己的平台去提升研发效率是我们需要考虑的问题。
4)安全:数据安全是企业的生命线,安全问题绝不能够在出现问题之后再去考虑安全问题。
如何提升系统的扩展性
Scale Out解决方案
- 利用DRDS进行水平拆分,线性扩展:
- 弹性的扩容能力
- 超高性能,满足业务极致需求
Scale Out解决方案现在最成熟的技术就是分库分表的解决方案,当一张物理库或一张物理表已支撑不了业务写入的时候,我们就对它按照不同的维度去做水平的分库分表拆分。DRDS所做的事情就是在分库分表表的基础上,把它揉合成逻辑库和逻辑表的概念,其优势在于进行分库分表后,对于用户来说看到是还是一张逻辑库或逻辑表。
弹性扩展解决方案
- 利用云上计算资源,轻松应对业务高峰
- 按需使用云资源,高峰结束后快速释放
- 一站式服务,简单易用
SDM混合数据管控所做的事情就是实现一键的数据库弹到云上去,之后做一个云上与云下混合的数据库,通过统一的管控平台,对云上的和云下的数据库进行统一的管理。
如何保证系统的稳定可靠
1)备份上传:采用单点写入方式,RPO为最后一次成功上传的备份的时间点到崩溃时间,RTO为小时级甚至天级,通过常规的数据库备份,将备份集上传至云端OSS存储。
2)DBS备份上云:采用单点写入方式,RPO为秒级,RTO为小时级,通过捕获数据库变化日志持续将数据库增量备份到云端,保有数据库最新的数据。
3)单向实时同步:采用单店写入方式,RPO为小于1秒,RTO为秒级到分钟级,其特点在于持续增量同步数据变化到容灾端数据库,容灾端数据库为读写打开状态,但逻辑上不接受应用写入。
4)异地多活:采用多点写入方式,RPO为小于1秒,RTO仅应用流量切换时间,多活架构,数据多点写入,数据变化双向复制。需要做多点间数据写入的隔离,防止记录在多点被更新。
对于现在阿里的数据库架构来说四种方案均能够支持,并且主要采用异地多活的方案。对于前面所提到的应用做了服务化这个问题,一些数据是需要依赖其他数据的,这时候如何实现数据之间的相互实时流转,且满足业务需求的,这时候就需要数据同步来实现。
让数据成为架构的动脉
针对数据自由流转这个问题,列举了几个典型的实践案例:
1)上云迁移:(同异构)数据在云上和云下自由流转。
2)在离线:在线的数据库同步到离线,进行实时分析。
3)多活同步:单元之间的实时双向同步,满足异地容灾需求。
4)下游消费:通过订阅实时增量消息,满足搜索等下游业务。
5)实时大屏:在线数据,流经实时计算,大屏展示。
兼顾数据安全和效率
保证数据安全的前提下,怎样保证效率是每个研发者所要考虑的问题,DBA已经成为瓶颈。我们所做出的解决方案是通过DMS企业版平台,此平台主要解决两个问题,第一个就是研发效率的问题,让研发者对数据库的操作不在成为瓶颈;第二个问题就是数据安全问题,我们会对权限进行非常精细以及明确的管控,我们对权限定义的力度可以细化到某一个库、某一个表或某一个列的程度。
接下来简单介绍下DMS数据库平台,现如今数据库类型众多,但DMS平台支持多种数据库类型,在数据库控制层之上有一个安全控制层,也就是前面所提到的数据安全。若没有数据安全,我们会遭受很多风险与挑战。此外还有核心功能层,面向研发时对数据库的操作全部通过自助的方式来实现,用户则更多的是面向研发同学、运营以及后台同学来看的。
虽然提供了很多数据库类引擎,但是在统一运维上面也并没有做太多的妥协,数据库引擎众多,但数据库中台是能够很好的包容这些产品的。