• Linux Sendfile 的优势


    Sendfile 函数在两个文件描写叙述符之间直接传递数据(全然在内核中操作,传送),从而避免了内核缓冲区数据和用户缓冲区数据之间的拷贝,操作效率非常高,被称之为零拷贝。

    Sendfile 函数的定义例如以下:

    #include<sys/sendfile.h>

    ssize_t sendfile(int out_fd,int in_fd,off_t*offset,size_t count);

    传统方式read/write send/recv

    在传统的文件传输里面(read/write方式),在实现上事实上是比較复杂的,须要经过多次上下文的切换。我们看一下例如以下两行代码:   

    1. read(file, tmp_buf, len);       

    2. write(socket, tmp_buf, len);  

     

     以上两行代码是传统的read/write方式进行文件到socket的传输。

     

    当须要对一个文件进行传输的时候,其详细流程细节例如以下:

     

    1、调用read函数,文件数据被copy到内核缓冲区

    2、read函数返回。文件数据从内核缓冲区copy到用户缓冲区

    3、write函数调用。将文件数据从用户缓冲区copy到内核与socket相关的缓冲区。

    4、数据从socket缓冲区copy到相关协议引擎。

     

    以上细节是传统read/write方式进行网络文件传输的方式,我们能够看到,在这个过程其中。文件数据实际上是经过了四次copy操作:

     

    硬盘—>内核buf—>用户buf—>socket相关缓冲区(内核)—>协议引擎

    新方式sendfile

    而sendfile系统调用则提供了一种降低以上多次copy。提升文件传输性能的方法。

    Sendfile系统调用是在2.1版本号内核时引进的:

     

    1. sendfile(socket, file, len);   

     

     

    执行流程例如以下:

     

    1、sendfile系统调用,文件数据被copy至内核缓冲区

    2、再从内核缓冲区copy至内核中socket相关的缓冲区

    3、最后再socket相关的缓冲区copy到协议引擎

     

    相较传统read/write方式,2.1版本号内核引进的sendfile已经降低了内核缓冲区到user缓冲区。再由user缓冲区到socket相关 缓冲区的文件copy,而在内核版本号2.4之后,文件描写叙述符结果被改变,sendfile实现了更简单的方式,系统调用方式仍然一样,细节与2.1版本号的 不同之处在于,当文件数据被拷贝到内核缓冲区时,不再将全部数据copy到socket相关的缓冲区,而是只将记录数据位置和长度相关的数据保存到 socket相关的缓存,而实际数据将由DMA模块直接发送到协议引擎,再次降低了一次copy操作。

  • 相关阅读:
    Maven
    Mybatis
    WinDbg的安装、配置和功能(转发)
    gRPC —— gRPC 基础: C#(待续)
    gRPC —— 通讯协议
    gRPC —— 安全认证
    gRPC —— 概念
    gRPC —— 概览
    grpc和protocol buffer介绍&实例(转载)
    protocol buffers ——git 源码
  • 原文地址:https://www.cnblogs.com/mthoutai/p/7040007.html
Copyright © 2020-2023  润新知