大文件处理

     最近一直纠结于大文件的处理。单个文件动辄两三个G，数据遍历检索需要长时间等待，在此等待过程中很是郁闷。思来想去，就是把文件切片处理。虽然整个文件处理完毕可能耗时更长，至少，处理一部分数据，就可以实时看到结果。

     1。根据源文件大小，估计处理完成以后目标索引文件长度，建立目标文件长度的空文件；

     2。把源文件切割为若干数据片N来处理，顺序处理；处理完一个数据片立马加载；

     3。查看空数据文件给出等待数据处理提示；

    附加方案：

    建立数据监视服务，发现新文件后台立即进行处理，建立文件索引。