• zero-copy


    引言
    C10K problem提到一种zero-copy的技术,可以提高网络的吞吐量,分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。

    什么是zero-copy
    zero-copy在概念上是值操作系统避免了内存之间的来回拷贝开销,从使用角度来看,通常是发送网络文件时,文件加载到内核空间后直接发送到网络,避免了内核空间和用户空间的拷贝开销。

    linux下的发送文件至网络的传统方式

     

    1.从硬件读取文件到内核缓冲区
    2.从内核缓冲区拷贝到用户缓冲区
    3.从用户缓冲区拷贝到socket的缓冲区
    4.从socket的缓冲区拷贝到网络驱动中发送
    这中间有两次不必要的开销,2和3的cpu copy开销。
    linux的sendfile

     

    1.从硬件读取到内核缓冲区
    2.从内核缓冲区拷贝到socket缓冲区
    3.从socket缓冲区拷贝到网络驱动发送
    与传统方式相比,减少了内核和用户态的来回拷贝,但还是有一个多余的操作,内核缓冲区到socket缓冲区的拷贝。
    改进后的sendfile

     

    1.从硬件直接拷贝到内核缓冲区
    2.socket缓冲区记录待发送的字节和偏移量
    3.从内核缓冲区直接拷贝到网卡驱动发送
    这个版本改进了内核缓冲区和socket缓冲区的拷贝,socket缓冲区只记录了偏移量和字节,减少了一次cpu拷贝。
    end
    所谓的零拷贝并不是完全没有拷贝,最后优化的版本还是有两次拷贝,但避免了用户和内核的不必要交互,减少cpu拷贝的直接好处就是提高了cpu的利用率。
  • 相关阅读:
    Java 8 ThreadLocal 源码解析
    RabbitMQ 消息中间件
    MySQL 索引与查询优化
    MySQL EXPLAIN 命令: 查看查询执行计划
    迎来送往,开启新篇章
    mockito的用法
    推荐一个计算机的科普视频
    Golang查缺补漏(一)
    2019定个小目标
    golang 中的指针
  • 原文地址:https://www.cnblogs.com/learn-my-life/p/5636397.html
Copyright © 2020-2023  润新知