• JDBC批量插入优化addbatch


    //  获取要设置的Arp基准的List后,插入Arp基准表中 	
    	public boolean insertArpStandardList(List<ArpTable> list) {
    		Connection conn = null;
    		PreparedStatement ps = null;
    		ResultSet rs = null;
    		//MySql的JDBC连接的url中要加rewriteBatchedStatements参数,并保证5.1.13以上版本的驱动,才能实现高性能的批量插入。
    		//优化插入性能,用JDBC的addBatch方法,但是注意在连接字符串加上面写的参数。
    		//例如: String connectionUrl="jdbc:mysql://192.168.1.100:3306/test?rewriteBatchedStatements=true" ; 
    		
    		String sql = "insert into arp_standard(guid, devicebrand, devicename, deviceip, ipaddress, " +
    				     "macaddress, createtime) values(?,?,?,?,?,?,?)";
    		
    		try{
    			conn = DBConnection.getConnection();
    			ps = conn.prepareStatement(sql);
    			
    			//优化插入第一步		设置手动提交   
    			conn.setAutoCommit(false);  
    			
    			int len = list.size();
    			for(int i=0; i<len; i++) {
    				ps.setString(1, list.get(i).getGuid());
    				ps.setString(2, list.get(i).getDeviceBrand());
    				ps.setString(3, list.get(i).getDeviceName());
    				ps.setString(4, list.get(i).getDeviceIp());
    				ps.setString(5, list.get(i).getIpAddress());
    				ps.setString(6, list.get(i).getMacAddress());
    				ps.setString(7, list.get(i).getCreateTime());
    				
    				//if(ps.executeUpdate() != 1) r = false;	优化后,不用传统的插入方法了。
    				
    				//优化插入第二步		插入代码打包,等一定量后再一起插入。
    				ps.addBatch();  
    				//if(ps.executeUpdate() != 1)result = false;
    			    //每200次提交一次  
    			    if((i!=0 && i%200==0) || i==len-1){//可以设置不同的大小;如50,100,200,500,1000等等   
    				    ps.executeBatch();   
    				    //优化插入第三步		提交,批量插入数据库中。
    				    conn.commit();   
    				    ps.clearBatch();     	//提交后,Batch清空。
    			    }
    			}
    
    		} catch (Exception e) {
    			System.out.println("MibTaskPack->getArpInfoList() error:" + e.getMessage());
    			return false;	//出错才报false
    		} finally {
    			DBConnection.closeConection(conn, ps, rs);
    		}
    		return true;
    	}
    

      效率要比一条一条插入快近60倍。比如for循环或者insert into table test select * from....

  • 相关阅读:
    Tensorflow
    EM算法
    神经网络 CNN
    神经网络总结(tensorflow)
    Chrome扩展程序和油猴推荐
    机器学习(贝叶斯,K-means,ROC,AUC)
    机器学习随笔(决策树,集成算法,交叉验证)
    机器学习随笔(线性回归,逻辑回归原理)
    @PropertySource加载文件的两种用法以及配置文件加载顺序
    JNDI(Java Naming and Directory Interface )
  • 原文地址:https://www.cnblogs.com/kxdblog/p/4056010.html
Copyright © 2020-2023  润新知