node压缩文件夹

前几天遇到一个需求，将一个10G的文件夹打包压缩，并去除黑名单上的文件。

node自带的只能压缩文件。网上看了集中方案要么对大文件操作不行，要么只能直接操作文件夹，无法对文件夹遍历筛选。

后来确定使用先遍历文件夹打包，然后再压缩的方案。然后在找打包模块时发现tar打包时可以直接压缩。试验后确定使用这种方案。本机试验，12G的文件夹，耗时大约18分钟。

代码如下，其中的tar时第三方模块，需要另外安装     npm install tar

var fs = require('fs')
var path = require('path')
var util = require('util')
var tar = require('tar')
var zlib = require('zlib')

var now = Date.now()

var pack = new tar.Pack({gzip:true})

var root = path.join('F:\test')
console.log(root)

//遍历文件夹，并以指定基准输出
readDirSync(root,"base")
function readDirSync(path,base) {
    if(base == undefined) {
        base = path
    }
    var pa = fs.readdirSync(path)
    pa.forEach((ele,index)=>{
        var info = fs.statSync(path + "/" + ele)
        
        if(info.isDirectory()) {
            //console.log("dir:" + ele)
            readDirSync(path + "/" + ele,base +"/" + ele)
        } else {
           // console.log("file:" + base +"/" + ele)
           pack.add(path + "/" + ele)
        }
    })

}

pack.end()
var writeStream = fs.createWriteStream('test.tar.gz')

writeStream.on('finish',()=>{
    console.log(Date.now() - now)
})
//pack.write('test.tar')
pack.pipe(writeStream)

代码的逻辑很简单，就是遍历文件夹，添加到pack流中。第9行，设置使用gzip压缩。得到文件名后 就可以对文件做过滤了。也可以使用tar的api，设置filter过滤，根据自己喜好选择。

压缩文件的格式命名需要是 tar.gz 否则用解压软件打开时会产生奇怪的现象~~~

tar的项目地址 https://www.npmjs.com/package/tar