Node.js Buffer使用详解

一，开篇分析

NodeJS的开发语言是JavaScript，JavaScript语言自身只有字符串数据类型，没有二进制数据类型。NodeJS有时会进行网络传输、文件操作、图片处理等操作，而这些操作都与二进制数据紧密相关。因此，NodeJS提供了一个与String对等的全局构造函数Buffer来提供对二进制数据的操作。在 Node.js中Buffer 类用来创建一个专门存放二进制数据的缓存区。除了可以读取文件等操作得到Buffer的实例外，还能够直接构造。

二、创建 Buffer 类

Buffer 提供了以下 API 来创建 Buffer 类：

• Buffer.alloc(size[, fill[, encoding]])： 返回一个指定大小的 Buffer 实例，如果没有设置 fill，则默认填满 0
• Buffer.allocUnsafe(size)： 返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据
• Buffer.allocUnsafeSlow(size)
• Buffer.from(array)： 返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）
• Buffer.from(arrayBuffer[, byteOffset[, length]])： 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
• Buffer.from(buffer)： 复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例
• Buffer.from(string[, encoding])： 返回一个被 string 的值初始化的新的 Buffer 实例

// 创建一个长度为 10、且用 0 填充的 Buffer。
const buf1 = Buffer.alloc(10);

// 创建一个长度为 10、且用 0x1 填充的 Buffer。 
const buf2 = Buffer.alloc(10, 1);

// 创建一个长度为 10、且未初始化的 Buffer。
// 这个方法比调用 Buffer.alloc() 更快，
// 但返回的 Buffer 实例可能包含旧数据，
// 因此需要使用 fill() 或 write() 重写。
const buf3 = Buffer.allocUnsafe(10);

// 创建一个包含 [0x1, 0x2, 0x3] 的 Buffer。
const buf4 = Buffer.from([1, 2, 3]);

// 创建一个包含 UTF-8 字节 [0x74, 0xc3, 0xa9, 0x73, 0x74] 的 Buffer。
const buf5 = Buffer.from('tést');

// 创建一个包含 Latin-1 字节 [0x74, 0xe9, 0x73, 0x74] 的 Buffer。
const buf6 = Buffer.from('tést', 'latin1');

三、写入缓冲区

语法

写入 Node 缓冲区的语法如下所示：

buf.write(string[, offset[, length]][, encoding])

参数

参数描述如下：

string - 写入缓冲区的字符串。

offset - 缓冲区开始写入的索引值，默认为 0 。

length - 写入的字节数，默认为 buffer.length

encoding - 使用的编码。默认为 'utf8' 。

根据 encoding 的字符编码写入 string 到 buf 中的 offset 位置。 length 参数是写入的字节数。 如果 buf 没有足够的空间保存整个字符串，则只会写入 string 的一部分。 只部分解码的字符不会被写入。

返回值

返回实际写入的大小。如果 buffer 空间不足， 则只会写入部分字符串。

实例

buf = Buffer.alloc(256);

len = buf.write("www.runoob.com");

console.log("写入字节数 : "+  len);

执行以上代码，输出结果为：

$node main.js
写入字节数 : 14

四、从缓冲区读取数据

语法

读取 Node 缓冲区数据的语法如下所示：

buf.toString([encoding[, start[, end]]])

参数

参数描述如下：

encoding - 使用的编码。默认为 'utf8' 。

start - 指定开始读取的索引位置，默认为 0。

end - 结束位置，默认为缓冲区的末尾。

返回值

解码缓冲区数据并使用指定的编码返回字符串。

实例

buf = Buffer.alloc(26);
for (var i = 0 ; i < 26 ; i++) {
  buf[i] = i + 97;
}

console.log( buf.toString('ascii'));       // 输出: abcdefghijklmnopqrstuvwxyz
console.log( buf.toString('ascii',0,5));   //使用 'ascii' 编码, 并输出: abcde
console.log( buf.toString('utf8',0,5));    // 使用 'utf8' 编码, 并输出: abcde
console.log( buf.toString(undefined,0,5)); // 使用默认的 'utf8' 编码, 并输出: abcde

执行以上代码，输出结果为：

$ node main.js
abcdefghijklmnopqrstuvwxyz
abcde
abcde
abcde

五、将 Buffer 转换为 JSON 对象

语法

将 Node Buffer 转换为 JSON 对象的函数语法格式如下：

buf.toJSON()

当字符串化一个 Buffer 实例时，JSON.stringify() 会隐式地调用该 toJSON()。

返回值

返回 JSON 对象。

实例

const buf = Buffer.from([0x1, 0x2, 0x3, 0x4, 0x5]);
const json = JSON.stringify(buf);

// 输出: {"type":"Buffer","data":[1,2,3,4,5]}
console.log(json);

const copy = JSON.parse(json, (key, value) => {
  return value && value.type === 'Buffer' ?
    Buffer.from(value.data) :
    value;
});

// 输出: <Buffer 01 02 03 04 05>
console.log(copy);

执行以上代码，输出结果为：

{"type":"Buffer","data":[1,2,3,4,5]}
<Buffer 01 02 03 04 05>

六、聊聊Buffer

JavaScript对字符串处理十分友好，无论是宽字节还是单字节字符串，都被认为是一个字符串。Node中需要处理网络协议、操作数据库、处理图片、文件上传等，还需要处理大量二进制数据，自带的字符串远不能满足这些要求，因此Buffer应运而生。

Buffer结构

Buffer是一个典型的Javascript和C++结合的模块，性能相关部分用C++实现，非性能相关部分用javascript实现。

Node在进程启动时Buffer就已经加装进入内存，并将其放入全局对象，因此无需require

Buffer对象：类似于数组，其元素是16进制的两位数。

Buffer内存分配

Buffer对象的内存分配不是在V8的堆内存中，在Node的C++层面实现内存的申请。

为了高效的使用申请来得内存，Node中采用slab分配机制，slab是一种动态内存管理机制，应用各种*nix操作系统。slab有三种状态：

(1) full：完全分配状态

(2) partial：部分分配状态

(3) empty：没有被分配状态

七、总结

（1）JavaScript适合处理Unicode编码数据，但对二进制数据的处理并不友好。

（2）所以处理TCP流或文件系统时，对八位字节流的处理很有必要。

（3）Node有几个用于处理，创建和消耗八位字节流的方法。

（4）原始数据存放在一个Buffer实例中，一个Buffer类似一个整数数组，但是它的内存，分配在V8堆栈外。一个Buffer的大小是不能更改的。

（5）处理的编码类型有：ascii,utf8,utf16le,ucs2（utf16le的别名）,base64,binary,hex。

（6）Buffer为全局元素，直接new Buffer()就得到一个Buffer实例。