引言
C10K problem提到一种zero-copy的技术,可以提高网络的吞吐量,分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。
什么是zero-copy
zero-copy在概念上是值操作系统避免了内存之间的来回拷贝开销,从使用角度来看,通常是发送网络文件时,文件加载到内核空间后直接发送到网络,避免了内核空间和用户空间的拷贝开销。
linux下的发送文件至网络的传统方式
1.从硬件读取文件到内核缓冲区
2.从内核缓冲区拷贝到用户缓冲区
3.从用户缓冲区拷贝到socket的缓冲区
4.从socket的缓冲区拷贝到网络驱动中发送
这中间有两次不必要的开销,2和3的cpu copy开销。
linux的sendfile
1.从硬件读取到内核缓冲区
2.从内核缓冲区拷贝到socket缓冲区
3.从socket缓冲区拷贝到网络驱动发送
与传统方式相比,减少了内核和用户态的来回拷贝,但还是有一个多余的操作,内核缓冲区到socket缓冲区的拷贝。
改进后的sendfile
1.从硬件直接拷贝到内核缓冲区
2.socket缓冲区记录待发送的字节和偏移量
3.从内核缓冲区直接拷贝到网卡驱动发送
这个版本改进了内核缓冲区和socket缓冲区的拷贝,socket缓冲区只记录了偏移量和字节,减少了一次cpu拷贝。
end
所谓的零拷贝并不是完全没有拷贝,最后优化的版本还是有两次拷贝,但避免了用户和内核的不必要交互,减少cpu拷贝的直接好处就是提高了cpu的利用率。