昨天在项目中需要对日志的查询结果进行导出功能。
日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出。由于日志数据量比较大。多的时候,有上亿条记录。
之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。
那么能不能一次查询就把所有结果倒出来了?于是我就使用一次查询,不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。
看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大,所以出现OOM问题。
首先我想到的是游标功能。那么是不是可以使用游标,一次从服务器端慢慢的取呢?上网查询了一下,大家都说MySQL不支持游标功能等等。
后来就去看JDBC代码。找到了setFetchSize()方法,结果设置以后,却不能生效,还是出现OOM问题。
我的设置如下
ps=conn.con.prepareStatement("select * from bigTable");
ps.setFetchSize(1000);
后来老大在MySQL看到了这样的方法:
ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
ps.setFetchSize(Integer.MIN_VALUE);
ps.setFetchDirection(ResultSet.FETCH_REVERSE);
设置以后,果然可以解决我的问题。
附上代码:
package com.seven.dbTools.DBTools; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; import java.util.ArrayList; public class JdbcHandleMySQLBigResultSet { public static long importData(String sql){ String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password"; try { Class.forName("com.mysql.jdbc.Driver"); } catch (ClassNotFoundException e1) { e1.printStackTrace(); } long allStart = System.currentTimeMillis(); long count =0; Connection con = null; PreparedStatement ps = null; Statement st = null; ResultSet rs = null; try { con = DriverManager.getConnection(url); ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY); ps.setFetchSize(Integer.MIN_VALUE); ps.setFetchDirection(ResultSet.FETCH_REVERSE); rs = ps.executeQuery(); while (rs.next()) { //此处处理业务逻辑 count++; if(count%600000==0){ System.out.println(" 写入到第 "+(count/600000)+" 个文件中!"); long end = System.currentTimeMillis(); } } System.out.println("取回数据量为 "+count+" 行!"); } catch (SQLException e) { e.printStackTrace(); } finally { try { if(rs!=null){ rs.close(); } } catch (SQLException e) { e.printStackTrace(); } try { if(ps!=null){ ps.close(); } } catch (SQLException e) { e.printStackTrace(); } try { if(con!=null){ con.close(); } } catch (SQLException e) { e.printStackTrace(); } } return count; } public static void main(String[] args) throws InterruptedException { String sql = "select * from test.bigTable "; importData(sql); } }
最近对JDBC有了进一步的了解。关于JDBC,推荐我的另一篇文章,用于解决不写文件,从Java IO流中直接导入数据到MySQL:
Java不写文件,LOAD DATA LOCAL INFILE大批量导入数据到MySQL的实现 http://blog.csdn.net/chenyechao/article/details/9237495
推荐另外两篇来自 阿里巴巴 叶正盛的文章我转载的:
http://blog.csdn.net/chenyechao/article/details/9303979
这篇文章是我解决问题以后才看到的,上面已经说明了MySQL JDBC的setFetchSize的使用。