使用零拷贝对文件高效的切片和合并
对文件的切片/合并在应用中是一个很常见的需求，使用 FileChannel的 transferTo / transferFrom 的零拷贝方法（需要操作系统支持），可以高效的完成。
切片
/**
* 对文件按照指定大小进行分片，在文件所在目录生成分片后的文件块儿
* @param file
* @param chunkSize
* @throws IOException
*/
public static void chunkFile(Path file, long chunkSize) throws IOException {
if (Files.notExists(file) || Files.isDirectory(file)) {
throw new IllegalArgumentException("文件不存在:" + file);
}
if (chunkSize < 1) {
throw new IllegalArgumentException("分片大小不能小于1个字节:" + chunkSize);
}
// 原始文件大小
final long fileSize = Files.size(file);
// 分片数量
final long numberOfChunk = fileSize % chunkSize == 0 ? fileSize / chunkSize : (fileSize / chunkSize) + 1;
// 原始文件名称
final String fileName = file.getFileName().toString();
// 读取原始文件
try(FileChannel fileChannel = FileChannel.open(file, EnumSet.of(StandardOpenOption.READ))){
for (int i = 0; i < numberOfChunk; i++) {
long start = i * chunkSize;
long end = start + chunkSize;
if (end > fileSize) {
end = fileSize;
}
// 分片文件名称
Path chunkFile = Paths.get(fileName + "-" + (i + 1));
try (FileChannel chunkFileChannel = FileChannel.open(file.resolveSibling(chunkFile),
EnumSet.of(StandardOpenOption.CREATE_NEW, StandardOpenOption.WRITE))){
// 返回写入的数据长度
fileChannel.transferTo(start, end - start, chunkFileChannel);
}
}
}
}
组合
/**
* 把多个文件合并为一个文件
* @param file 目标文件
* @param chunkFiles 分片文件
* @throws IOException
*/
public static void mergeFile (Path file, Path ... chunkFiles) throws IOException {
if (chunkFiles == null || chunkFiles.length == 0) {
throw new IllegalArgumentException("分片文件不能为空");
}
try (FileChannel fileChannel = FileChannel.open(file, EnumSet.of(StandardOpenOption.CREATE_NEW, StandardOpenOption.WRITE))){
for (Path chunkFile : chunkFiles) {
try(FileChannel chunkChannel = FileChannel.open(chunkFile, EnumSet.of(StandardOpenOption.READ))){
chunkChannel.transferTo(0, chunkChannel.size(), fileChannel);
}
}
}
}