前段时间遇到一个问题,很简单就是定时任务删除数据库中三个月前的数据;无非就是delete...from...where;当时的需求要考虑这几个问题:
1.效率
2.一次读取全部
3.保留部分数据
先说一下当时的需求,删除三个月前的动态(团队动态),但有些团队的动态本身就很少,删除了影响前台数据量,所以只删除三个月内动态>200条的数据;
其实完全可以一个简单的delete from,count计数,但这对磁盘IO消耗很大;所以要在内存中处理;如何读取数据,计数是主要问题;
下面是当时实现代码
//定时删除团队动态
public class AutoDelTeamDynamic { protected final static Log logger = LogFactory.getLog(AutoDelTeamDynamic.class); public void executeInternal() { logger.warn(" autoDelTeamDynamic start! "); Date d = new Date();//当前时间 Date startDate = DateUtil.getDateInDayAgo(d, -90); Date delDate = DateUtil.dateUtil2date(startDate, "yyyy-MM-dd");//三个月前 //三个月团队内动态数量大于200删除 Long id = 0l; String dynamics = "select id,team_id,create_time from g_team_dynamic where id > ? order by team_id asc,id desc limit 10000"; while(true){ List<Map<String, Object>> result = Db.executeQuery(dynamics, new Object[]{id},false); if(result == null || result.size() < 10000){ break; } Map<Long,Integer> map = new HashMap<Long, Integer>(); StringBuffer sb = new StringBuffer(); for(Map<String, Object> numMap : result){ id = (Long)numMap.get("id"); Long team_id = (Long)numMap.get("team_id"); Date create_time = (Date)numMap.get("create_time"); Date date = DateUtil.dateUtil2date(create_time, "yyyy-MM-dd"); if(DateUtil.compareTwoDate(date, delDate) == 1){ if(map.containsKey(team_id)){ map.put(team_id, map.get(team_id) + 1); if(map.get(team_id) > 200){ sb.append(id).append(","); } }else{ map.put(team_id, 1); } } } if(sb.length() > 0){ sb.deleteCharAt(sb.length()-1); delDynamic(sb.toString()); } id--; } logger.warn(" autoDelTeamDynamic end! "); } private void delDynamic(String ids){ String delsql = " DELETE FROM g_team_dynamic WHERE id in ("+ids+")"; int a = Db.executeUpdate(delsql,null, false); if(a <= 0){ logger.error("删除每日任务记录失败!"+delsql); } } }
以上代码是工程中的,只是一个思路问题;SQL语句是分段读取数据的,如何让分段读取能够读取到数据库中全部数据,这里用到了while(true),每次读取10000条,即只要数据库中数据还多于一万就一直向下执行,直到数据少于10000时结束;还有个问题就是分段读取数据的衔接,注意Long id=0,及SQL语句中的where条件,主键id之后被数据中读取数据重新赋值,一次循环执行SQL结束,id--,这样就可以将两次Limit的数据衔接上(id主键自增),如此执行,就可以一次读取到数据库中所有数据;
下面就是计数问题,在这里是使用Map计数的,每当发现一个team_id,判断Map中是否包含,不包含创建,计数1;包含则在原来个数上加一,如此计数,当team_id对应数据大于200,直接将数据库中记录id放入可删除字符串中;
最后就是根据主键删除记录,如此做是效率最高的删除操作,where条件放入in条件,一次传入所有需要删除记录的ID;
这样就可以实现需求;海量数据处理确实很难模拟,不在互联网公司很难接触到,一个删除操作就要如此麻烦,但我们都应该知道,内存可以扩展,但IO处理对效率的影响会更大;