• 正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryError: Java heap space


    昨天在项目中需要对日志的查询结果进行导出功能。

    日志导出功能的实现是这样的,输入查询条件,然后对查询结果进行导出。由于日志数据量比较大。多的时候,有上亿条记录。

    之前的解决方案都是多次查询,然后使用limit 限制每次查询的条数。然后导出。这样的结果是效率比较低效。

    那么能不能一次查询就把所有结果倒出来了?于是我就使用一次查询,不使用limit分页。结果出现 java.lang.OutOfMemoryError: Java heap space问题。

    看来是DB服务器端将一次将查询到的结果集全部发送到Java端保存在内存中。由于结果集比较大,所以出现OOM问题。

    首先我想到的是游标功能。那么是不是可以使用游标,一次从服务器端慢慢的取呢?上网查询了一下,大家都说MySQL不支持游标功能等等。

    后来就去看JDBC代码。找到了setFetchSize()方法,结果设置以后,却不能生效,还是出现OOM问题。

    我的设置如下

    ps=conn.con.prepareStatement("select * from bigTable");
     ps.setFetchSize(1000);

    后来老大在MySQL看到了这样的方法:

    ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
    ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
    ps.setFetchSize(Integer.MIN_VALUE);
    ps.setFetchDirection(ResultSet.FETCH_REVERSE);


    设置以后,果然可以解决我的问题。

    附上代码:

    package com.seven.dbTools.DBTools;
    
    import java.sql.Connection;
    import java.sql.DriverManager;
    import java.sql.PreparedStatement;
    import java.sql.ResultSet;
    import java.sql.SQLException;
    import java.sql.Statement;
    import java.util.ArrayList;
    
    public class JdbcHandleMySQLBigResultSet {
    
    public static long importData(String sql){
    String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
    try {
    Class.forName("com.mysql.jdbc.Driver");
    } catch (ClassNotFoundException e1) {
    e1.printStackTrace();
    }
    long allStart = System.currentTimeMillis();
    long count =0;
    
    Connection con = null;
    PreparedStatement ps = null;
    Statement st = null;
    ResultSet rs = null;
    try {
    con = DriverManager.getConnection(url);
    
    ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
                  ResultSet.CONCUR_READ_ONLY);
      
    ps.setFetchSize(Integer.MIN_VALUE);
    
    ps.setFetchDirection(ResultSet.FETCH_REVERSE);
    
    rs = ps.executeQuery();
    
    
    while (rs.next()) {
    
    //此处处理业务逻辑
    count++;
    if(count%600000==0){
    System.out.println(" 写入到第  "+(count/600000)+" 个文件中!");
    long end = System.currentTimeMillis();
    }
    
    }
    System.out.println("取回数据量为  "+count+" 行!");
    } catch (SQLException e) {
    e.printStackTrace();
    } finally {
    try {
    if(rs!=null){
    rs.close();
    }
    } catch (SQLException e) {
    e.printStackTrace();
    }
    try {
    if(ps!=null){
    ps.close();
    }
    } catch (SQLException e) {
    e.printStackTrace();
    }
    try {
    if(con!=null){
    con.close();
    }
    } catch (SQLException e) {
    e.printStackTrace();
    }
    }
    return count;
    
    }
    
    public static void main(String[] args) throws InterruptedException {
    
    String sql = "select * from test.bigTable ";
    importData(sql);
    
    }
    
    }

    最近对JDBC有了进一步的了解。关于JDBC,推荐我的另一篇文章,用于解决不写文件,从Java IO流中直接导入数据到MySQL:

    Java不写文件,LOAD DATA LOCAL INFILE大批量导入数据到MySQL的实现  http://blog.csdn.net/chenyechao/article/details/9237495

    推荐另外两篇来自 阿里巴巴 叶正盛的文章我转载的:

    关于oracle与mysql官方jdbc的一些区别

    http://blog.csdn.net/chenyechao/article/details/9303979    

    这篇文章是我解决问题以后才看到的,上面已经说明了MySQL JDBC的setFetchSize的使用。

  • 相关阅读:
    Java数组
    Java单例设计模式
    Java 14 祭出代码简化大器,Lombok 要被干掉了?
    来,教你去掉了烦人的 !=null
    Java 最坑爹的 10 大功能点!
    高级 Java 必须突破的 10 个知识点!
    不用找了,基于 Redis 的分布式锁实战来了!
    Spring 常犯的十大错误,打死都不要犯!
    JVM 与 Linux 的内存关系详解
    Java 中的 T,E,K,V, 别傻傻分不清楚!
  • 原文地址:https://www.cnblogs.com/mamo/p/3584000.html
Copyright © 2020-2023  润新知