RDS最佳实践(一)—如何选择你的RDS

在去年双11之前，为了帮助商家准备天猫双11的大促，让用户更好的使用RDS，把RDS的性能发挥到最佳，保障双11当天面对爆发性增加的压力，不会由于RDS的瓶颈导致系统出现问题，编写了 RDS的最佳实践 。该文档的内容全部出自于生产实践，但由于篇幅的限制，我只是把其中的概要罗列到了ppt中，并没有展开详细的介绍，后续计划写一个系列，把ppt中的内容进一步展开来讲一讲，也算是对RDS用户的一个交代。

我该如何选择RDS？我要购买多大规格的RDS？RDS的连接数，iops指的是什么？上诉这些问题相信是每一个RDS用户在开始使用的时候都会有这样的疑问。首先我们要了解一下RDS的组成包括哪一些，从阿里云官网的购买页面中我们可以看到RDS包括了以下参数：数据库类型，版本，存储空间，规格：内存+连接数+io，地域，那我们就一个个来分析一下：

一.数据库的类型：

RDS目前支持的数据库类型有两种：mysql，sqlserver，为什么这里要特别提出来讲一讲？原因有以下两个方面：
a.由于受到sqlserver和windows license的影响，sqlserver价格会比mysql高出近50%，一个2G Mem+50GB Disk的Mysql一年的价格是：4480 RMB；一个2G Mem+50GB Disk的Sqlserver一年的价格是：6420 RMB;
b.sqlserver处于闭源状态，在出现异常疑难问题排查的时候，往往需要借助微软官方的帮助，同时RDS如果想在sqlserver上面定制出一些自己特色的功能时候，往往其封闭的协议让RDS望而退步；相对于mysql的开源而言，RDS依托了阿里强大的mysql内核开发和运维经验，能够很好的定制出一些RDS自己的特色功能，在出现疑难问题上能够迅速的进行debug排查。
在阿里的电商云平台聚石塔，已经有大量的isv，商家正在改造自己的后台系统从sqlserver转向的mysql，你还在犹豫什么？

二.数据库的版本：
RDS mysql目前支持5.5和5.1两个版本，sqlserver支持2008一个版本,通常在高版本中会：修复掉低版本中一些bug提高系统的稳定和安全性，优化改进低版本的设计提升系统的性能，推出一些新的功能丰富提升系统的易用性。所以这里我们我们以mysql为例，看一看在5.5与5.1相比较有哪些改动：
1)默认存储引擎更改为InnoDB
2)提高性能和可扩展性
. 提高了默认线程并发数(innodb_thread_concurrency)
. 后台输入/输出线程控制（innodb_read_io_threads、innodb_write_io_threads）
. 适应性散列索引(Hash Index)控制，用户可以关闭适应性散列功能
. 插入缓冲（Insert Buffering）控制，用户可以关闭innodb的插入缓冲功能
. 恢复组提交（Restored Group Commit）
. 多个回滚段（Multiple Rollback Segments）,之前的innodb版本最大能处理1023个并发处理操作，现在mysql5.5可以处理高达128K的并发事物，
. 改善了日志系统互斥和单独刷新（Flush）列表互斥
. 改善清除程序进度，在mysql5.5中清楚操作线程是独立的线程，并支持并发，可以使用innodb_purge_treads配置。

3)提高实用性
. 半同步复制（Semi-synchronous Replication）
. 复制Heartbeat
. 中继日志自动恢复（Automatic Relay Log Recovery）

4)提高易管理性和效率
. 建立快速索引（Faster Index Creation）
. 高效的数据压缩（Efficient Data Compression）
. 为大物件和可变长度列提供高效存储
. 增加了INFORMATION_SCHEMA表，新的表提供了与InnoDB压缩和事务处理锁定有关的具体信息
. 支持utf8mb4字符集

5)提高可用性
. 新的表/索引分区选项。MySQL5.5将表和索引RANG和LIST分区范围扩展到了非整数列和日期，并增加了在多个列上分区的能力。

6)改善检测和诊断
. Mysql5.5引入了一种新的性能架构(performancn_shema,P_S),用于监控mysql监控服务器运行时的性能。

有了这么多功能的改进提升，还有什么理由不使用5.5.

三.存储空间：

在RDS的工单问题中，空间问题的咨询应该可以算得上是top 5，当RDS的实际使用空间超过了购买的空间后，实例就会被锁定了，这样就会导致应用无法再写入，更新数据，造成应用的报错，在RDS的控制台中可以设定空间的报警阀值，当实例空间到达报警阀值后用户就会收到报警短信，这个时候用户则需要对判断当前的空间增长是否合理，如果合理的增长则需要对实例的进行弹性升级，如果增长不合理，则需要进行快速的判断。所以在这里我们就需要了解RDS的空间组成到底包括了哪些？

RDS的实例空间主要包括了：数据文件,日志文件，其他文件（包括系统文件，临时文件）

下面我们来详细介绍一下这些文件组成：

1. 数据文件：顾名思义该文件空间则是指的存放用数据的文件，对应到数据库中就是一张张的表，表的组成主要包括：数据和索引两类，所以当你看到你的数据文件占用实例的空间非常多的时候，你需要看一下到底是哪一张表占用了我的空间，RDS在控制台中提供了：性能优化–>大表优化的性能报表，用户则可以在这里找到系统中占用最大的文件。但是凡事需要未雨绸缪，我们在设计应用的时候，就要考虑未来数据的增长趋势（数据的生命保留周期）,合理的设计数据的存放位置(存放文件or数据库),存储格式（数据类型，字段大小），存放方式（存储引擎选择，分区还是分表）。下图的案例案例中，数据空间占用了实例大量的空间，用户可以通过排查数据库中到底是哪一张表占用导致的（可以参考性能优化–>大表优化）

        

2. 日志文件：RDS采用的主备M-M的高可用架构，其主备之间的数据同步依靠日志的方式，mysql：binlog，sqlserver：transaction log；同时RDS支持将实例恢复到任何一个时间点，这个功能需要依靠运用备份和日志。为了减少日志空间对用户的空间的占用，RDS mysql会定时的把日志备份到oss中，然后再将其清除，这样用户需要下载RDS日志的时候可以从oss中获取；对于sqlserver，rds对定期的对数据库进行备份，然后将事务日志进行回收。当日志空间出现异常的时候，如下图，由于应用写入数据压力过大，导致binlog日志增加的速度大于了RDS上传到oss的速度，造成了binlog日志增长迅猛，这时候需要用户对数据库的update，insert，delete进行优化，减小对数据库的变更操作：
   
3. 其他文件：
   a.系统文件，每个数据库在安装的时候会初始化一些系统文件，这些系统文件是数据库正常运行的前提，mysql：ibdata1，ib_logfile0，sqlserver：MSDBLog，master.mdf，下面的这幅图反映了RDS"其他文件"占用达到了非常多的问题，可以参考blog： ibdata1文件持续增加的问题定位

b.临时文件：通常可以理解为数据库做一个大的操作，由于内存不足，数据库需要将内存中的文件写到磁盘上，这样则有可能导致临时文件写的非常大，通常出现这种情况的时候，数据库在做大的排序操作（order by，group by），由于内存不足，需要将数据刷写到临时文件中，下图的案例中，由于数据库中一条order by的语句频繁的执行，但是排序的sql没有索引，导致了临时文件的频繁写操作：

Ps.RDS已经计划在idb中集成实例的空间诊断这个功能，帮助用户分析实例空间的使用，诊断问题的根源。

四．实例规格：

不同的RDS实例规格提供了不同的性能指标，可以参考RDS不同规格的

测试报告 。如何选择RDS的规格，由于该选项会直接关系你的应用是否在RDS上正常的运作起来，同时还关系成本的问题，所以深刻的理解这些参数，有助于你更好的使用RDS，更低成本的使用RDS。下面来分析一下RDS规格中这3个关键指标：

1. 内存（mem）：内存是实例的核心指标之一，比如2400M Mem内存的实例，内存参数大小配置在实例的参数文件中，限定了实例能够使用的内存大小为2400M。由于内存的访问速度远远大于磁盘，所以通常情况下，内存中缓存的数据越多，数据库的响应就越快；如果内存较小，当数据超过一定量后，就会被刷新到磁盘上，如果新的请求再次访问该数据，就要从磁盘上把它从磁盘中读取进内存，消耗磁盘io，这个时候数据库响应就会变慢。
2. IOPS:刚才提到数据从磁盘读取到内存，或者数据从内存写到磁盘都需要消耗io，而磁盘的io能力是有一定，比如新1型提供的iops为150个，也就是每秒能够提供150次的随机磁盘io操作，所以如果用户的数据量很大，内存很小，而写入，更新，删除，查询的压力很大，由于iops的限制，对于数据库来说就是一条sql需要执行很长的时间才能返回结果，对于应用来说就会造成整体响应的变慢；
3. 连接数：连接数是数据库中的一个概念，在RDS中的连接数是指用户最多能够创建多少个连接。用户的连接数使用的多少取决于用户的连接类型，例如用户使用了连接池管理连接的长连接应用（如java类应用），在连接池中配置的最大连接数为100，那么在RDS中看到的连接数应该为：app服务器×100；对于短连接的应用而言（如php应用，C/S结构的应用），一个请求到到数据库，就会产生一个连接，当请求完毕后就会释放连接。当用户使用的连接数超过了实例规定的连接数后，RDS会直接抛错给应用，mysql：too many connections，sqlserver：Logon failed for login ‘u_xxxx’ due to trigger execution.

     可以看到上面的3个核心指标都能够直接影响用户使用，下图展示了不同规格能够达到的QPS指标，该测试报告采用标准的sysbench oltp（读写混合）测试模型，可以作为每种实例规格的吞吐能力的参考，用户可以根据自己的业务压力来选择合适的实例规格：

五．地域选择：

RDS的集群主要分布在杭州和青岛两个地域，用户往往采用SLB+ECS+RDS的架构，所以保持着三者在同一个地域就可以了，杭州到青岛的网络访问延迟大概在20ms左右，所以应当避免跨地域的访问情况。

原文链接:http://www.tuicool.com/articles/MJzuIn