• Python 批量插入100万级数据到Excel文件(简洁版)


      引言

      python是一门开发语言,可以用来写大型项目,也可以用来写脚本,比如自动化脚本,也可以用来写工具。

      背景

      我们平时做测试,不一定做自动化测试才用去python,做功能测试,也就是点点点,也可以把它用起来。

      比如,我现在页面有一个功能,导入的功能,我想测它最大支持多少数据量导入,或者说多大的文件导入,那么我们得在excel中写入很多条数据(导入模板是xls,xlsx)。

      如果是自己手一条一条去弄,显然不现实,数据量不多还好,如果是100万呢,500万呢,1000万呢....

      那么,这个时候可以利用python写个脚本,一秒生成百万级+的excel文件。

      案例实现

      我就将我实际项目遇到的情况拿出来讲。

      背景:

      1、导入功能;

      2、导入模板excel;

      3、导入数据格式,两列数据,数据格式不限制。

      根据需求,我想测这个导入支持多大的数据量以及达到最大的时候,页面提示什么信息,是报错,还是温馨提示呢?那么就得写这样的一个向excel批量插入数据的脚本:

    from xlwt import Workbook
    
    #创建一个工作簿
    w = Workbook()
    #创建一个工作表
    ws = w.add_sheet('1')
    # 计数
    count = 0
    # 行数
    link_nums = 5000
    for j in range(0,2):     #控制列
        for i in range(0, link_nums):   #控制行
            count += 1
    
            if(j == 0):         #第一列
                ws.write(i, j, i)
            if(j == 1):
                ws.write(i,j,i)
    
    
    print("总共生成(单元格): %s数据"%count)
    print("总共生成: %s条数据"%link_nums)
    
    w.save('xqtest.xls')
    

      

      运行结果:

    总共生成(单元格): 10000数据
    总共生成: 5000条数据
    
    Process finished with exit code 0
    

      打开excel文件查看:

     运行时长:

    总共生成(单元格): 10000数据
    总共生成: 5000条数据
    Running time: 7.293443303871468e-07 Seconds 
    
    Process finished with exit code 0
    

      拿着生成的excel文件,操作导入,结果报错:

      然后测试了这个导入功能,果然是有bug,已经反馈给开发修改了。

      总结

      方法基本上就是这样,具体根据自己业务需要进行设计。

      另外,对测试开发,自动化测试,全栈测试相关技术感兴趣的朋友,可以加入到群里学习和探索交流,进群方式,扫下方二维码。

  • 相关阅读:
    基准测试github.com/BrennanConroy/BlogPost60Bench
    消息中间件RabbitMQ
    蓝绿部署、金丝雀发布(灰度发布)、AB测试
    内存缓存与分布式缓存的使用
    DDD分层架构
    .NET MAUI 正式发布,再见了 Xamarin.Forms
    [LeetCode] 1301. Number of Paths with Max Score 最大得分的路径数目
    [LeetCode] 1302. Deepest Leaves Sum 层数最深叶子节点的和
    新功能发布:突出显示代码块的指定行
    上周热点回顾(5.165.22)
  • 原文地址:https://www.cnblogs.com/liudinglong/p/13040392.html
Copyright © 2020-2023  润新知