• java中多种写文件方式的效率对比实验


    实验背景

    最近在考虑一个问题:“如果快速地向文件中写入数据”,java提供了多种文件写入的方式,效率上各有异同,基本上可以分为如下三大类:字节流输出、字符流输出、内存文件映射输出。前两种又可以分为带buffer及不带buffer。

    实验目标

    通过实验找出单线程场景下文件写入效率最高的方式,并量化各种文件写入方式在效率上的差距。

    实验设计

    为减少其他环节的影响,示例代码使用循环输出同一字符串多次的方式测试整个输出环节的耗时,通过耗时、服务器资源使用情况(cpu、内存使用)等指标评判各种文件写入方式的效率好坏。

    实验环境

    OS: windows 7 64bit

    cpu: 4core, 主频:2.4GHZ

    mem:6G

    jdk version:Java HotSpot(TM) 64-Bit ,1.8.0_101

    实验步骤

    总共进行8次输出实验,依次输出的文件大小为:10M、50M、100M、200M、500M、800M、1G、2G;

    每次输出后记录各种方式的耗时情况,并填表。

    实验结果

    表1、java各种文件写入方法效率对比实验时延数据表

    表1、java各种文件写入方法效率对比实验时延结果图(含大文件)

     表2、java各种文件写入方法效率对比实验时延结果图(不含大文件)

      

    图2、文件大小为2048m时,各个写入方式执行任务时cpu使用情况:

    图3、文件大小为2048m时,各个写入方式执行任务时jvm内存使用情况

    图4、文件大小为2048m时,各个写入方式执行任务时物理内存使用情况:

    上图中红圈中为‘FileChannel’方式下的物理内存使用情况。

    实验结论

    1、基本上,五种写入方式的时延从小到大排序为:FileChannel<BufferedOutputStream<FileOutputStream<BufferedWriter<FileWriter;从表1、图1;可以看出;且该规律在小文件写入的情景下,更为明显,图2可以看出;

    2、在同样文件大小写入的场景中,通常意义上带buffer的字节流输入/字符流输入比不带buffer的对应流效率要高;

    3、各个写入方式的jvm cpu和内存使用情况大致相当,从图2和图3可以看出;

    4、文件达到一定大小后( fileSize >=1.5G ),FileChannel的时延变得很大且不稳定,从图1最右边可以看出;同时,物理内存的使用量基本和写入文件大小相当,从图4可以看出;原因在于FileChannel使用MappedByteBuffer写入,这个buffer是direct buffer,直接操作物理内存写入,故而造成物理内存消耗严重。

    5、小文件写入的场景下(1M左右),FileChannel有些大材小用了,效率上反而没有字节流效率高。

    综上,我们可以得到几条有价值的使用经验:

    1、小文件(几M的文件)写入时,使用常规的io输入就行,最优选择是BufferedInportStream,没有必要使用nio的FileChannel;

    2、大文件(fileSize > 1G,这是个经验值,需要根据具体环境具体分析)写入时,使用FileChannel需要小心物理内存的瓶颈带来的写入效率低下,可以考虑使用分段写入的方式(TODO:后续实验给出);

    3、其他场景下,如果效率优先的考虑,则优先选择FileChannel写入文件。

    demo

    参考git仓库:https://github.com/daoqidelv/io-demo 

  • 相关阅读:
    ASP.net MVC 构建layui管理后台(构造基础仓储)<1>
    ASP.net MVC 构建layui管理后台(整体效果)
    搭建私有 Nuget 服务器教程(1)
    SSAS数据集Cube不存在或者尚未处理
    浅谈MDX处理空值NULL及格式化结果
    Zoey.Dapper--Dapper扩展之把SQL语句放到文件中
    Polly每次重试执行不同的操作
    Exceptionless应用--自定义插件
    Fiddler开启Https的时候出现unable to configure windows to trust Fiddler Root certificate问题
    ASP.NET Core 中的配置
  • 原文地址:https://www.cnblogs.com/daoqidelv/p/6864403.html
Copyright © 2020-2023  润新知