2018年01月31日
随着我们系统用户数量的日增，业务数据处于一个爆发前，增长的数据量已经给我们的系统造成了很大的不确定。在上个周末用户量较多，并发较大的情况下，读写频繁的验证码表，数据量达到几十万上百万的时候出现了锁表阻塞，导致用户登录验证失败，进而导致系统的一度反应较慢，甚至登录不上等问题。查了很多资料，发现大家都是偏理论，索性自己实现了，发出来以作记录，也能给别人一些帮助。诸位有什么高明意见，欢迎交流。个人QQ：1612301243,非诚勿扰。
由于这种读写更新频繁的表，造成性能下降，仅仅通过添加redis缓存已经解决不了问题。所以我们引入了数据库表切分的解决方案。
考虑到业务表数据量的增长情况，我们决定采用按周或者按月的方式进行表的切分，具体路由规则如下：
切分策略，见仁见智。
|
package com.**.uc.utils;
import java.util.Calendar;
import org.apache.commons.lang.StringUtils;
public class TableRouter {
/**
* table路由规则，获取新表名称
* @param prefix 表明前缀
* @param strategy 切分策略,
* @return
*/
public static String getUcCaptchaTable(String prefix,String strategy ){
//根据切分策略进行切分，添加一定的容错，该部分主要是针对读写频繁的验证码表，故部分代码写死为主表的数据；
//切分策略为周时，返回“表名_年份周次”，也就是说一年会有52张表
//切分策略为月时，返回“表名_年份月份”，也就是说一年会有12张表
//该种切分策略的弊端，是在周末凌晨或者月末凌晨的几分钟，存在验证不存在的情况，在我们的系统允许范围内，故此处未做特殊处理。
if(StringUtils.isNotBlank(prefix)&&StringUtils.isNotBlank(strategy)&&prefix.equals("uc_captcha")&&"week".equals(strategy)){
Calendar c=Calendar.getInstance();
int i = c.get(Calendar.WEEK_OF_YEAR);
StringBuffer sb = new StringBuffer();
int year = c.get(Calendar.YEAR);
String suffix = sb.append(year).append(i).toString();
System.out.println(suffix);
return prefix+"_"+suffix;
}else if(StringUtils.isNotBlank(prefix)&&StringUtils.isNotBlank(strategy)&&prefix.equals("uc_captcha")&&"month".equals(strategy)){
Calendar c=Calendar.getInstance();
int i = c.get(Calendar.MONTH);
StringBuffer sb = new StringBuffer();
int year = c.get(Calendar.YEAR);
String suffix = sb.append(year).append(i).toString();
System.out.println(suffix);
return prefix+"_"+suffix;
}
//获取不到分表名称，则返回主表名称
return "uc_captcha";
}
}
|
切分策略写好后，关键的是我们需要将我们的sql中对应的表名更改为动态传入，此处用到的是mybatis的多参数映射属性。
部分java代码与xml代码如下：
java代码如下（支持集中基本的数据类型，注意map的写法，list的话，采用list 小写）：
|
/**插入一条数据 **/
public int add(@Param("table") String table ,@Param("map") Map<String,Object> map);
/**更新一条数据**/
public int update(@Param("table") String table ,@Param("map") Map<String,Object> map);
|
xml文件：注意表名的写法 ${table}使用${}不携带jabcType，也不能使用#;map取参数，使用map.prapmeter 取参数
|
<!-- 插入一条新记录 -->
<insert id="add" parameterType="map">
insert into ${table}(pid,btype,uid,naccount,capthcha,ntype,ctime,expiration)
values(
#{map.pid, jdbcType=VARCHAR},
#{map.type, jdbcType=VARCHAR},
#{map.uid, jdbcType=VARCHAR},
#{map.phone, jdbcType=VARCHAR},
#{map.code, jdbcType=VARCHAR},
#{map.is_active, jdbcType=VARCHAR},
#{map.ctime, jdbcType=VARCHAR},
#{map.invalid_time, jdbcType=VARCHAR}
)
<selectKey resultType="int" keyProperty="pid" >
SELECT @@IDENTITY AS pid
</selectKey>
</insert>
|
domain层调用如下：
|
int validation_id = validationDao.add(getCurrentTableName(),map);
|
其中getCurrentTableName()为内部方法，其中是根据配置的策略以及路由规则获取分表表名，代码如下：
|
/**
* 获取当前分表名称
*/
public String getCurrentTableName() {
String tableName = TableRouter.getUcCaptchaTable("uc_captcha", strategy);
if(!this._this.existTable(tableName)){//不存在新表，则创建新表，并返回新表表名
try {
int tableCreateRes = validationDao.dynamicCreateTable(tableName);
if(tableCreateRes >=0){
//创建新表，清空表不存在的缓存，
this._this.notExistTable(tableName);
}
} catch (Exception e) {
return "uc_captcha";
}
}
return tableName;
}
/**
* 缓存表是否存在，减轻
*/
@Cacheable(value="uc2cache", key="'uc_captcha_exist_'+#tableName")
public boolean existTable(String tableName){
int tableCount = validationDao.existTable(tableName);
if(tableCount == 0){//不存在新表，则创建新表，并返回新表表名
return false;
}
return true;//存在
}
@CacheEvict(value="uc2cache", key="'uc_captcha_exist_'+#tableName")
public void notExistTable(String tableName){}
|
考虑到每次都会调用数据库查询表是否存在，我们为减少对数据库的IO，我们采用了redis缓存的方式，其中AOP切面，自调用不起作用的情况，不在此处赘述。
你可以看到，不存在路由的分表的时候，我们会进行创建表，创建语句如下：
|
<!-- 查询表是否存在 -->
<select id="existTable" parameterType="String" resultType="Integer">
select count(1)
from information_schema.tables
where LCASE(table_name)=#{table,jdbcType=VARCHAR}
</select>
<!-- 创建表 -->
<update id="dynamicCreateTable" parameterType="String">
CREATE TABLE if not EXISTs ${table} (
`pid` varchar(36) NOT NULL,
`uid` int(11) DEFAULT NULL,
`btype` varchar(30) NOT NULL COMMENT '业务类型例如：sign 用户注册。login 用户登陆',
`ntype` varchar(30) NOT NULL COMMENT '短信、邮箱、微信等。根据系统支持取值',
`naccount` varchar(30) NOT NULL COMMENT '手机号、邮箱、微信等',
`capthcha` varchar(6) NOT NULL COMMENT '6位随机验证码',
`expiration` int(11) NOT NULL COMMENT '有效期，距离1970年秒数',
`ctime` int(11) NOT NULL COMMENT '创建时间距离1970年秒数',
PRIMARY KEY (`pid`),
KEY `fk_uccaptcha_uid` (`uid`),
KEY `uk_uc_captcha_ub` (`btype`) USING BTREE,
CONSTRAINT ${table}_ibfk_1 FOREIGN KEY (`uid`) REFERENCES `uc_users_ext` (`uid`) ON DELETE CASCADE
) ENGINE=InnoDB DEFAULT CHARSET=utf8
</update>
<!--成功返回0 失败会跑错，我们已经做了容错处理-->
|
至此，数据库的切分表功能基本完成。
发一个beanselfaware的链接 ：http://fyting.iteye.com/blog/109236