Node大文件处理

之前有个需求要将文件解析再处理，当时直接将整个文件内容读到内存中然后解析，也是没有考虑到大文件的问题，那么要如何解析大文件呢？

输入：文件的内容是多个json，按顺序排列

输出：解析后的json数据

代码：

let fs = require('fs');

let log = (str) => { console.log(`${new Date().toLocaleString()} ${str}`); };

let readStream = fs.createReadStream('./input.txt', {encoding: 'utf-8'});
let chunkTotal = '',
    res = [],
    reg = /(}s*{)/g;

console.time('parse');

readStream.on('readable', () => {
    log('readable triggerd');
    let chunk;

    while ((chunk = readStream.read()) !== null) {
        log(`read triggerd, chunk length ${chunk.length}, current res length ${res.length}`);
        chunkTotal += chunk;

        let regRes, matchedIndex = 0, srcIndex = 0;
        while ((regRes = reg.exec(chunkTotal))) {
            matchedIndex = regRes.index;
            let json = chunkTotal.slice(srcIndex, matchedIndex + 1);
            try {
                res.push(JSON.parse(json.trim()));
            } catch (e) {
                console.log(json);
            }

            srcIndex = matchedIndex + 1;
        }
        chunkTotal = chunkTotal.slice(matchedIndex + 1).trim();
    }

    let json;
    try {
        json = JSON.parse(chunkTotal.trim());
        res.push(json);
        chunkTotal = '';
    } catch (e) {}
});

readStream.on('end', () => {
    log(`总共编译得到数据:${res.length}个`);
    console.timeEnd('parse');
});

实际运行过程中发现程序越跑越慢：

当解析到100多w条json数据时，慢的不能忍

当把代码改成只统计能解析得到的json数量，不保存json数据后，代码就嗖嗖的跑完了。

难道是因为占用内存过高，影响垃圾回收速度？

能不能利用多进程来处理一个大文件？

原因是正则的问题导致效率下降，按行读取还是用readline比较好