• 如何快速安全的插入千万条数据?


    640?wx_fmt=jpeg

                                                          

    最近有个需求解析一个订单文件,并且说明文件可达到千万条数据,每条数据大概在20个字段左右,每个字段使用逗号分隔,需要尽量在半小时内入库。

    思路

    1.估算文件大小

    因为告诉文件有千万条,同时每条记录大概在20个字段左右,所以可以大致估算一下整个订单文件的大小,方法也很简单使用FileWriter往文件中插入一千万条数据,查看文件大小,经测试大概在1.5G左右;

    2.如何批量插入

    3.数据的完整性

    截取数据的时候需要注意,需要保证数据的完整性,每条记录最后都是一个换行符,需要根据这个标识保证每次截取都是整条数,不要出现半条数据这种情况;

    4.数据库是否支持批次数据

    因为需要进行批次数据的插入,数据库是否支持大量数据写入,比如这边使用的mysql,可以通过设置max_allowed_packet来保证批次提交的数据量;

    5.中途出错的情况

    因为是大文件解析,如果中途出现错误,比如数据刚好插入到900w的时候,数据库连接失败,这种情况不可能重新来插一遍,所有需要记录每次插入数据的位置,并且需要保证和批次插入的数据在同一个事务中,这样恢复之后可以从记录的位置开始继续插入。

    实现

    1.准备数据表

    这里需要准备两张表分别是:订单状态位置信息表,订单表;

    2.配置数据库包大小

    
    
    mysql> show VARIABLES like '%max_allowed_packet%';
    +--------------------------+------------+
    | Variable_name | Value |
    +--------------------------+------------+
    | max_allowed_packet | 1048576 |
    | slave_max_allowed_packet | 1073741824 |
    +--------------------------+------------+
    2 rows in set
    
    mysql> set global max_allowed_packet = 1024*1024*10;
    Query OK, 0 rows affected

    通过设置max_allowed_packet,保证数据库能够接收批次插入的数据包大小;不然会出现如下错误:

    3.准备测试数据

    public static void main(String[] args) throws IOException {
      FileWriter out = new FileWriter(new File("D://xxxxxxx//orders.txt"));
      for (int i = 0; i < 10000000; i++) {
        out.write(
            "vaule1,vaule2,vaule3,vaule4,vaule5,vaule6,vaule7,vaule8,vaule9,vaule10,vaule11,vaule12,vaule13,vaule14,vaule15,vaule16,vaule17,vaule18");
        out.write(System.getProperty("line.separator"));
      }
      out.close();
    }

    使用FileWriter遍历往一个文件里插入1000w条数据即可,这个速度还是很快的,不要忘了在每条数据的后面添加换行符( )

    4.截取数据的完整性

    除了需要设置每次读取文件的大小,同时还需要设置一个参数,用来每次获取一小部分数据,从这小部分数据中获取换行符( ),如果获取不到一直累加直接获取为止,这个值设置大小大致同每条数据的大小差不多合适,部分实现如下:

    ByteBuffer byteBuffer = ByteBuffer.allocate(buffSize); // 申请一个缓存区
    long endPosition = batchFileSize + startPosition - buffSize;// 子文件结束位置
    
    long startTime, endTime;
    for (int i = 0; i < count; i++) {
        startTime = System.currentTimeMillis();
        if (i + 1 != count) {
            int read = inputChannel.read(byteBuffer, endPosition);// 读取数据
            readW: while (read != -1) {
                byteBuffer.flip();// 切换读模式
                byte[] array = byteBuffer.array();
                for (int j = 0; j < array.length; j++) {
                    byte b = array[j];
                    if (b == 10 || b == 13) { // 判断
    
                        endPosition += j;
                        break readW;
                    }
                }
                endPosition += buffSize;
                byteBuffer.clear(); // 重置缓存块指针
                read = inputChannel.read(byteBuffer, endPosition);
            }
        } else {
            endPosition = fileSize; // 最后一个文件直接指向文件末尾
        }
        ...省略,更多可以查看Github完整代码...
    }

    如上代码所示开辟了一个缓冲区,根据每行数据大小来定大概在200字节左右,然后通过遍历查找换行符( ),找到以后将当前的位置加到之前的结束位置上,保证了数据的完整性;

    5.批次插入数据

    通过insert(...)values(...),(...)的方式批次插入数据,部分代码如下:

    // 保存订单和解析位置保证在一个事务中
    SqlSession session = sqlSessionFactory.openSession();
    try {
      long startTime = System.currentTimeMillis();
      FielAnalysisMapper fielAnalysisMapper = session.getMapper(FielAnalysisMapper.class);
      FileOrderMapper fileOrderMapper = session.getMapper(FileOrderMapper.class);
      fileOrderMapper.batchInsert(orderList);
    
      // 更新上次解析到的位置,同时指定更新时间
      fileAnalysis.setPosition(endPosition + 1);
      fileAnalysis.setStatus("3");
      fileAnalysis.setUpdTime(new Date());
      fielAnalysisMapper.updateFileAnalysis(fileAnalysis);
      session.commit();
      long endTime = System.currentTimeMillis();
      System.out.println("===插入数据花费:" + (endTime - startTime) + "ms===");
    } catch (Exception e) {
      session.rollback();
    } finally {
      session.close();
    }
    ...省略,更多可以查看Github完整代码...

    总结

    经测试1000w条数据(大小1.5G左右)插入mysql数据库中,大概花费时间在20分钟左右,当然可以通过设置截取的文件大小,花费的时间也会相应的改变。
    作者:ksfzhaohui

    https://my.oschina.net/OutOfMemory/blog/3117737

    - END -
    推荐阅读:

    关注Java技术栈公众号在后台回复:Java,可获取一份栈长整理的最新 Java 技术干货。

    640

    点击「阅读原文」和栈长学更多~

  • 相关阅读:
    Ubantu 安装Redis
    传说中的WCF(5):数据协定(a)
    传说中的WCF(4):发送和接收SOAP头
    传说中的WCF(3):多个协定
    传说中的WCF(2):服务协定的那些事儿
    传说中的WCF(1):这东西难学吗?
    Linq教程
    Installutil.exe的位置和路径
    uni-app中对输入框的判断与提示(密码格式为6-12位,必须有大小写字母和数字组成)
    uni-app系列回顾总结----项目国际化
  • 原文地址:https://www.cnblogs.com/java-stack/p/11951986.html
Copyright © 2020-2023  润新知