• 批量更新代码整理(代码库)从数组中批量取数据的方法


    查询出所有的数据,分批插入。从原来的所有的list 数据里面,每次拿出X 条数据,再批量更新

    public void insertStudent() {
        List<Student> list = studentDao.listAllStudentForStat();
        int batchNum = 2000; //批量更新的条数,每X条更新一次
        for (int i = 0; i < list.size(); i += batchNum) {
            List<Student> ansList = new ArrayList<>(batchNum);
            int max = i + batchNum < list.size() ? i + batchNum : list.size();
            ansList.addAll(list.subList(i, max));
    
            try {
                if (!ansList.isEmpty()) {
                    //批量插入
                    studentDao.insertOrUpdateStudentList(ansList);
                    logger.info("定时更新student表时,更新了 {} 数据,最后的指针为 {}", ansList.size(), max);
                }
            } catch (Exception e) {
                logger.error("更新student表异常,异常信息为:{}", e.getMessage(), e);
            }
    
        }
    }

    升级版

    查询出所有的数据,分批插入,并且插入的每条数据需要再通过其他的表来赋值特定的字段。
    如果在for循环里,每次都查询表,也很耗性能,比较好的办法,一次查询,放到map里,从内存里进行查询

    public void insertStudent() {
        List<Student> list = studentDao.listAllStudentForStat();
        int batchNum = 2000; //批量更新的条数,每X条更新一次
        for (int i = 0; i < list.size(); i += batchNum) {
            List<Student> ansList = new ArrayList<>(batchNum);
            int max = i + batchNum < list.size() ? i + batchNum : list.size();
            ansList.addAll(list.subList(i, max));
    
            try {
                //批量查询
                List<UserLoginDateVo> userLastLoginDateList = userDao.listLastLoginDateByStudentList(studentList);
                //将查询出的实体放到map对象里去
                Map<Long, Date> userLastLoginDateMap = new HashMap<>();
                if (userLastLoginDateList != null && !userLastLoginDateList.isEmpty()) {
                    for (UserLoginDateVo item : userLastLoginDateList) {
                        userLastLoginDateMap.put(item.getUid(), item.getLoginDate());
                    }
                }
    
                //从map对象中取值,赋给实体对象
                for (Student student : ansList) {
                    student.setLoginTime(Optional.ofNullable(userLastLoginDateMap.get(student.getUid())).orElse(DateUtil.getDefaultDate()));
                }
    
                if (!ansList.isEmpty()) {
                    //批量插入
                    studentDao.insertOrUpdateStudentList(ansList);
                    logger.info("定时更新student表时,更新了 {} 数据,最后的指针为 {}", ansList.size(), max);
                }
            } catch (Exception e) {
                logger.error("更新student表异常,异常信息为:{}", e.getMessage(), e);
            }
        }
    }

     原创文章,欢迎转载,转载请注明出处!

  • 相关阅读:
    boost::asio中的implementation_type介绍
    boost::asio::io_service::run学习笔记
    vim使用笔记
    进程、线程运行状态查看包括线程在cpu上运行情况
    c++自旋锁——学习笔记
    grep搜索过滤指定目录
    /usr/bin/ld: cannot find -lstdc++ -lz问题
    linux下条件变量使用笔记
    map使用笔记
    关于友元函数在类内定义的问题--笔记
  • 原文地址:https://www.cnblogs.com/acm-bingzi/p/for_part_list.html
Copyright © 2020-2023  润新知