• 曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数


    文章导航

    Redis源码系列的初衷,是帮助我们更好地理解Redis,更懂Redis,而怎么才能懂,光看是不够的,建议跟着下面的这一篇,把环境搭建起来,后续可以自己阅读源码,或者跟着我这边一起阅读。由于我用c也是好几年以前了,些许错误在所难免,希望读者能不吝指出。

    曹工说Redis源码(1)-- redis debug环境搭建,使用clion,达到和调试java一样的效果

    曹工说Redis源码(2)-- redis server 启动过程解析及简单c语言基础知识补充

    曹工说Redis源码(3)-- redis server 启动过程完整解析(中)

    本讲主题

    早上,技术群里,有个同学问了个问题:

    这样看来,还是有部分同学,对backlog这个参数,不甚了解,所以,干脆本讲就讲讲这个话题。

    本来可以直接拿java来举例,不过这几天正好在看redis,而且 redis server就是服务端,也是对外提供监听端口的,而且其用 c 语言编写,直接调用操作系统的api,不像java那样封装了一层,我们直接拿redis server的代码来分析,就能离真相更近一点。

    我会拿一个例子来讲,例子里的代码,是直接从redis的源码中拷贝的,一行没改,通过这个例子,我们也能更理解redis一些。

    demo讲解

    backlog参数简单讲解

    比如我监听某端口,那么客户端可以来同该端口,建立socket连接;正常情况下,服务端(bio模式)会一直阻塞调用accept。

    大家想过没有,accept是怎么拿到这个新进来的socket的?其实,这中间就有个阻塞队列,当队列没有元素的时候,accept就会阻塞在这个队列的take操作中,所以,我个人感觉,accept操作,其实和队列的从队尾或队头取一个元素,是一样的。

    当新客户端建立连接时,完成了三次握手后,就会被放到这个队列中,这个队列,我们一般叫做:全连接队列。

    而这个队列的最大容量,或者说size,就是backlog这个整数的大小。

    正常情况下,只要服务端程序,accept不要卡壳,这个backlog队列多大多小都无所谓;如果设置大一点,就能在服务端accept速度比较慢的时候,起到削峰的作用,怎么感觉和mq有点像,哈哈。

    说完了,下面开始测试了,首先测试程序正常accept的情况。

    main测试程序

    
    int main() {
        // 1
        char *pVoid = malloc(10);
        // 2
        int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
        printf("listening...");
        
        while (1) {
            int fd;
            struct sockaddr_storage sa;
            socklen_t salen = sizeof(sa);
    		// 3
            char* err = malloc(20);
            // 4
            if ((fd = anetGenericAccept(err, serverSocket, (struct sockaddr*)&sa, &salen)) == -1)
                return ANET_ERR;
            printf("accept...%d",fd);
        }
    }
    
    • 1处,我们先分配了一个10字节的内存,这个主要是存放错误信息,在c语言编程中,不能像高级语言一样抛异常,所以,返回值一般用来返回0/1,表示函数调用的成功失败;如果需要在函数内部修改什么东西,一般就会先new一个内存出来,然后把指针传进去,然后在里面就对这片内存空间进行操作,这里也是一样。

    • anetTcpServer 是我们自定义的,内部会实现如下逻辑:在本机的6380端口上进行监听,backlog参数即全连接队列的size,设为2。如果出错的话,就会把错误信息,写入1处的那个内存中。

      这一步调用完成后,端口就起好了。

    • 3处,同样分配了一点内存,供accept连接出错时使用,和1处作用类似

    • 4处,调用accept去从队列取连接

    anetTcpServer,监听端口

    int anetTcpServer(char *err, int port, char *bindaddr, int backlog) {
        return _anetTcpServer(err, port, bindaddr, AF_INET, backlog);
    }
    
    
    static int _anetTcpServer(char *err, int port, char *bindaddr, int af, int backlog) {
        int s, rv;
        char _port[6];  /* strlen("65535") */
        struct addrinfo hints, *servinfo, *p;
    
        snprintf(_port, 6, "%d", port);
        // 1
        memset(&hints, 0, sizeof(hints));
        hints.ai_family = af;
        hints.ai_socktype = SOCK_STREAM;
        hints.ai_flags = AI_PASSIVE;    /* No effect if bindaddr != NULL */
    	
        // 2
        if ((rv = getaddrinfo(bindaddr, _port, &hints, &servinfo)) != 0) {
            anetSetError(err, "%s", gai_strerror(rv));
            return ANET_ERR;
        }
        for (p = servinfo; p != NULL; p = p->ai_next) {
            // 3
            if ((s = socket(p->ai_family, p->ai_socktype, p->ai_protocol)) == -1)
                continue;
    		// 4
            if (anetSetReuseAddr(err, s) == ANET_ERR) goto error;
            // 5
            if (anetListen(err, s, p->ai_addr, p->ai_addrlen, backlog) == ANET_ERR) goto error;
            goto end;
        }
    
        error:
        	s = ANET_ERR;
        end:
        	freeaddrinfo(servinfo);
        return s;
    }
    
    • 1处,new一个结构体,c语言中,new一个对象比较麻烦,要先定义一个结构体类型的变量,如struct addrinfo hints,,然后调用memset来初始化内存,然后设置各个属性。总体来说,这里就是new了一个ipv4的地址

    • 2处,因为一般服务器都有多网卡,多个ip地址,还有环回网卡之类的,这里的getaddrinfo,是利用我们第一步的hints,去帮助我们筛选出一个最终的网卡地址出来,然后赋值给 servinfo 变量。

      这里可能有不准确的地方,大家可以直接看官方文档:

      int getaddrinfo(const char *node, const char *service,
      const struct addrinfo *hints,
      struct addrinfo **res);

      Given node and service, which identify an Internet host and a service, getaddrinfo() returns one or more addrinfo structures, each of which contains an Internet address that can be specified in a call to bind(2) or connect(2).

    • 3处,使用第二步拿到的地址,new一个socket

    • 4处,anetSetReuseAddr,设置SO_REUSEADDR选项,我简单查了下,可参考:

      [socket常见选项之SO_REUSEADDR,SO_REUSEPORT]

      SO_REUSEADDR
      一般来说,一个端口释放后会等待两分钟之后才能再被使用,SO_REUSEADDR是让端口释放后立即就可以被再次使用

    • 5处,调用listen进行监听,这里用到了我们传入的backlog参数。

      其中,backlog参数的官方说明,如下,意思也就是说,是队列的size:

    其中,anetListen是我们自定义的,我们接着看:

    /*
     * 绑定并创建监听套接字
     */
    static int anetListen(char *err, int s, struct sockaddr *sa, socklen_t len, int backlog) {
        // 1
        if (bind(s, sa, len) == -1) {
            anetSetError(err, "bind: %s", strerror(errno));
            close(s);
            return ANET_ERR;
        }
    	// 2
        if (listen(s, backlog) == -1) {
            anetSetError(err, "listen: %s", strerror(errno));
            close(s);
            return ANET_ERR;
        }
        return ANET_OK;
    }
    
    • 1处,这里进行绑定
    • 2处,这里调用操作系统的函数,进行监听,其中,第一个参数就是前面的socket file descriptor,第二个,就是backlog。

    如何运行

    代码地址:

    https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.c

    https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.h

    大家把上面这两个文件,自己放到一个linux操作系统的文件夹下,然后执行以下命令,就能把这个demo启动起来:

    测试

    查看监听端口是否启动

    [root@mini2 ~]# netstat -ano|grep 6380
    tcp        0      0 0.0.0.0:6380            0.0.0.0:*               LISTEN      off (0.00/0/0)
    

    开启一个shell,连接到6380端口

    我这边开了3个shell,去连接6380端口,然后,我执行:

    [root@mini2 ~]# netstat -ano|grep 6380
    tcp        0      0 0.0.0.0:6380            0.0.0.0:*               LISTEN      off (0.00/0/0)
    tcp        0      0 127.0.0.1:51386         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
    tcp        0      0 127.0.0.1:54442         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
    tcp        0      0 127.0.0.1:51930         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
    tcp        0      0 127.0.0.1:6380          127.0.0.1:51386         ESTABLISHED off (0.00/0/0)
    tcp        0      0 127.0.0.1:6380          127.0.0.1:54442         ESTABLISHED off (0.00/0/0)
    tcp        0      0 127.0.0.1:6380          127.0.0.1:51930         ESTABLISHED off (0.00/0/0)
    

    可以看到,已经有3个socket,连接到6380端口了。

    查看端口对应的backlog队列的相关东西

    怎么看backlog那些呢?有个命令叫ss,其是netstat的升级版,执行以下命令如下:

    [root@mini2 ~]# ss -l |grep 6380
    tcp    LISTEN     0      2       *:6380                  *:*     
    

    上面我们查询了6380这个监听端口的状态,其中,

    • 第一列,tcp,传输协议的名称

    • 第二列,状态,LISTEN

    • 第三列,查阅man netstat可以看到,

      Recv-Q
             Established: The count of bytes not copied by the user program connected to this socket.  
             Listening: Since Kernel 2.6.18 this column contains  the  current syn backlog.
      

      当其为Established状态时,应该是缓冲区中没被拷贝到用户程序的字节的数量;

      当其为LISTEN状态时,表示当前backlog这个队列,即前面说的全连接队列的,容量的大小;这里,因为我们的程序一直在accept连接,所以这里为0

    • 第4列,官方文档:

      Send-Q
      Established: The count of bytes not acknowledged by the remote host.  	
      
      Listening:   Since Kernel 2.6.18 this column contains the maximum size of the syn backlog.
      

      当其为Established时,表示我方缓冲区中还没有被对方ack的字节数量

      当其为Listen时,表示全连接队列的最大容量,我们是设为2的,所以这里是2。

    测试2

    当我们程序不去accept的时候,会怎么样呢,修改程序如下:

    int main() {
        char *pVoid = malloc(10);
        int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
        printf("listening...");
    
        while (1){
            sleep(100000);
        }
    
    }
    

    然后我们再去开启3个客户端连接,然后,最后看ss命令的情况:

    [root@mini2 ~]# ss -l |grep 6380
    tcp    LISTEN     3      2       *:6380                  *:*   
    

    再执行netstat看看:

    [root@mini2 ~]# netstat -ano|grep 6380
    tcp        0      0 127.0.0.1:50238         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
    tcp        0      0 127.0.0.1:50362         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
    

    发现了吗,只有2个连接是ok的。因为我们的全连接队列,最大为2,现在已经full了啊,所以新连接进不来了。

    总结

    大家可以跟着我的demo试一下,相信理解会更深刻一点。

    以前我也写了一篇,大家可以参考下。

    Linux中,Tomcat 怎么承载高并发(深入Tcp参数 backlog)

    下面这篇文章,也不错:
    使用Netty,我们到底在开发些什么?

  • 相关阅读:
    解决执行sql脚本报错:没有足够的内存继续执行程序。
    正则表达式学习
    art-template模板引擎循环嵌套
    textarea 设置最长字数和显示剩余字数
    display:table-cell
    js 发送 ajax 是数组 后台循环 发送json 到前台的方法
    js 函数内数据调用
    Angular 原文输出
    Angular 路由跳转
    JQ 按钮实现两种功能
  • 原文地址:https://www.cnblogs.com/grey-wolf/p/12694767.html
Copyright © 2020-2023  润新知