• Redis核心原理与实践--Redis启动过程源码分析


    Redis服务器负责接收处理用户请求,为用户提供服务。
    Redis服务器的启动命令格式如下:

    redis-server [ configfile ] [ options ]
    

    configfile参数指定配置文件。options参数指定启动配置项,它可以覆盖配置文件中的配置项,如

    redis-server /path/to/redis.conf --port 7777 --protected-mode no
    

    该命令启动Redis服务,并指定了配置文件/path/to/redis.conf,给出了两个启动配置项:port、protected-mode。

    本文通过阅读Redis源码,分析Redis启动过程,内容摘自新书《Redis核心原理与实践》。
    本文涉及Redis的很多概念,如事件循环器、ACL、Module、LUA、慢日志等,这些功能在作者新书《Redis核心原理与实践》做了详尽分析,感兴趣的读者可以参考本书。

    服务器定义

    提示:本章代码如无特殊说明,均在server.h、server.c中。

    Redis中定义了server.h/redisServer结构体,存储Redis服务器信息,包括服务器配置项和运行时数据(如网络连接信息、数据库redisDb、命令表、客户端信息、从服务器信息、统计信息等数据)。

    struct redisServer {
        pid_t pid;                  
        pthread_t main_thread_id;         
        char *configfile;           
        char *executable;           
        char **exec_argv;    
        ...
    }
    

    redisServer中的属性很多,这里不一一列举,等到分析具体功能时再说明相关的server属性。
    server.h中定义了一个redisServer全局变量:

    extern struct redisServer server;
    

    本书说到的server变量,如无特殊说明,都是指该redisServer全局变量。例如,第1部分说过server.list_max_ziplist_size等属性,正是指该变量的属性。
    可以使用INFO命令获取服务器的信息,该命令主要返回以下信息:

    • server:有关Redis服务器的常规信息。
    • clients:客户端连接信息。
    • memory:内存消耗相关信息。
    • persistence:RDB和AOF持久化信息。
    • stats:常规统计信息。
    • replication:主/副本复制信息。
    • cpu:CPU消耗信息。
    • commandstats:Redis 命令统计信息。
    • cluster:Redis Cluster集群信息。
    • modules:Modules模块信息。
    • keyspace:数据库相关的统计信息。
    • errorstats:Redis错误统计信息。

    INFO命令响应内容中除了memory和cpu等统计数据,其他数据大部分都保存在redisServer中。

    main函数

    server.c/main函数负责启动Redis服务:

    int main(int argc, char **argv) {
        ...
        // [1]
        server.sentinel_mode = checkForSentinelMode(argc,argv);
        // [2]
        initServerConfig();
        ACLInit(); 
        
        moduleInitModulesSystem();
        tlsInit();
    
        // [3]
        server.executable = getAbsolutePath(argv[0]);
        server.exec_argv = zmalloc(sizeof(char*)*(argc+1));
        server.exec_argv[argc] = NULL;
        for (j = 0; j < argc; j++) server.exec_argv[j] = zstrdup(argv[j]);
    
        // [4]
        if (server.sentinel_mode) {
            initSentinelConfig();
            initSentinel();
        }
    
        // [5]
        if (strstr(argv[0],"redis-check-rdb") != NULL)
            redis_check_rdb_main(argc,argv,NULL);
        else if (strstr(argv[0],"redis-check-aof") != NULL)
            redis_check_aof_main(argc,argv);
    
        // more
    }
    

    【1】检查该Redis服务器是否以sentinel模式启动。
    【2】initServerConfig函数将redisServer中记录配置项的属性初始化为默认值。ACLInit函数初始化ACL机制,moduleInitModulesSystem函数初始化Module机制。
    【3】记录Redis程序可执行路径及启动参数,以便后续重启服务器。
    【4】如果以Sentinel模式启动,则初始化Sentinel机制。
    【5】如果启动程序是redis-check-rdb或redis-check-aof,则执行redis_check_rdb_main或redis_check_aof_main函数,它们尝试检验并修复RDB、AOF文件后便退出程序。
    Redis编译完成后,会生成5个可执行程序:

    • redis-server:Redis执行程序。
    • redis-sentinel:Redis Sentinel执行程序。
    • redis-cli:Redis客户端程序。
    • redis-benchmark:Redis性能压测工具。
    • redis-check-aof、redis-check-rdb:用于检验和修复RDB、AOF持久化文件的工具。

    继续分析main函数:

    int main(int argc, char **argv) {
        ...
        if (argc >= 2) {
            j = 1; 
            sds options = sdsempty();
            char *configfile = NULL;
    
            // [6]
            if (strcmp(argv[1], "-v") == 0 ||
                strcmp(argv[1], "--version") == 0) version();
            ...
    
            // [7]
            if (argv[j][0] != '-' || argv[j][1] != '-') {
                configfile = argv[j];
                server.configfile = getAbsolutePath(configfile);
                zfree(server.exec_argv[j]);
                server.exec_argv[j] = zstrdup(server.configfile);
                j++;
            }
    
           // [8]
            while(j != argc) {
                ...
            }
            // [9]
            if (server.sentinel_mode && configfile && *configfile == '-') {
                ...
                exit(1);
            }
            // [10]
            resetServerSaveParams();
            loadServerConfig(configfile,options);
            sdsfree(options);
        }
        ...
    }
    

    【6】对-v、--version、--help、-h、--test-memory等命令进行优先处理。
    strcmp函数比较两个字符串str1、str2,若str1=str2,则返回零;若str1<str2,则返回负数;若str1>str2,则返回正数。
    【7】如果启动命令的第二个参数不是以“--”开始的,则是配置文件参数,将配置文件路径转化为绝对路径,存入server.configfile中。
    【8】读取启动命令中的启动配置项,并将它们拼接到一个字符串中。
    【9】以Sentinel模式启动,必须指定配置文件,否则直接报错退出。
    【10】config.c/resetServerSaveParams函数重置server.saveparams属性(该属性存放RDB SAVE配置)。config.c/loadServerConfig函数从配置文件中加载所有配置项,并使用启动命令配置项覆盖配置文件中的配置项。

    提示:config.c中的configs数组定义了大多数配置选项与server属性的对应关系:

    standardConfig configs[] = {
        createBoolConfig("rdbchecksum", NULL, IMMUTABLE_CONFIG, server.rdb_checksum, 1, NULL, NULL),
        createBoolConfig("daemonize", NULL, IMMUTABLE_CONFIG, server.daemonize, 0, NULL, NULL),
        ...
    }
    

    配置项rdbchecksum对应server.rdb_checksum属性,默认值为1(即bool值yes),其他配置项以此类推。如果读者需要查找配置项对应的server属性和默认值,则可以从中查找。

    下面继续分析main函数:

    int main(int argc, char **argv) {
        ...
        // [11]    
        server.supervised = redisIsSupervised(server.supervised_mode);
        int background = server.daemonize && !server.supervised;
        if (background) daemonize();
        // [12]
        serverLog(LL_WARNING, "oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo");
        ...
        
        // [13]
        initServer();
        if (background || server.pidfile) createPidFile();
        ...
    
        if (!server.sentinel_mode) {
            ...
            // [14]
            moduleLoadFromQueue();
            ACLLoadUsersAtStartup();
            InitServerLast();
            loadDataFromDisk();
            if (server.cluster_enabled) {
                if (verifyClusterConfigWithData() == C_ERR) {
                    ...
                    exit(1);
                }
            }
            ...
        } else {
            // [15]
            InitServerLast();
            sentinelIsRunning();
            ...
        }
    
        ...
        // [16]
        redisSetCpuAffinity(server.server_cpulist);
        setOOMScoreAdj(-1);
        // [17]
        aeMain(server.el);
        // [18]
        aeDeleteEventLoop(server.el);
        return 0;
    }
    

    【11】server.supervised属性指定是否以upstart服务或systemd服务启动Redis。如果配置了server.daemonize且没有配置server.supervised,则以守护进程的方式启动Redis。
    【12】打印启动日志。
    【13】initServer函数初始化Redis运行时数据,createPidFile函数创建pid文件。
    【14】如果非Sentinel模式启动,则完成以下操作:
    (1)moduleLoadFromQueue函数加载配置文件指定的Module模块;
    (2)ACLLoadUsersAtStartup函数加载ACL用户控制列表;
    (3)InitServerLast函数负责创建后台线程、I/O线程,该步骤需在Module模块加载后再执行;
    (4)loadDataFromDisk函数从磁盘中加载AOF或RDB文件。
    (5)如果以Cluster模式启动,那么还需要验证加载的数据是否正确。
    【15】如果以Sentinel模式启动,则调用sentinelIsRunning函数启动Sentinel机制。
    【16】尽可能将Redis主线程绑定到server.server_cpulist配置的CPU列表上,Redis 4开始使用多线程,该操作可以减少不必要的线程切换,提高性能。
    【17】启动事件循环器。事件循环器是Redis中的重要组件。在Redis运行期间,由事件循环器提供服务。
    【18】执行到这里,说明Redis服务已停止,aeDeleteEventLoop函数清除事件循环器中的事件,最后退出程序。

    Redis初始化过程

    下面看一下initServer函数,它负责初始化Redis运行时数据:

    void initServer(void) {
        int j;
        // [1]
        signal(SIGHUP, SIG_IGN);
        signal(SIGPIPE, SIG_IGN);
        setupSignalHandlers();
        // [2]
        makeThreadKillable();
        // [3]
        if (server.syslog_enabled) {
            openlog(server.syslog_ident, LOG_PID | LOG_NDELAY | LOG_NOWAIT,
                server.syslog_facility);
        }
    
        // [4]
        server.aof_state = server.aof_enabled ? AOF_ON : AOF_OFF;
        server.hz = server.config_hz;
        server.pid = getpid();
        ...
    
        
        // [5]
        createSharedObjects();
        adjustOpenFilesLimit();
        // [6]
        server.el = aeCreateEventLoop(server.maxclients+CONFIG_FDSET_INCR);
        if (server.el == NULL) {
            ...
            exit(1);
        }
        
        // more
    }
    

    【1】设置UNIX信号处理函数,使Redis服务器收到SIGINT信号后退出程序。
    【2】设置线程随时响应CANCEL信号,终止线程,以便停止程序。
    【3】如果开启了Unix系统日志,则调用openlog函数与Unix系统日志建立输出连接,以便输出系统日志。
    【4】初始化server中负责存储运行时数据的相关属性。
    【5】createSharedObjects函数创建共享数据集,这些数据可在各场景中共享使用,如小数字0~9999、常用字符串+OK (命令处理成功响应字符串)、+PONG (ping命令响应字符串)。adjustOpenFilesLimit函数尝试修改环境变量,提高系统允许打开的文件描述符上限,避免由于大量客户端连接(Socket文件描述符)导致错误。
    【6】创建事件循环器。
    UNIX编程:信号也称为软中断,信号是UNIX提供的一种处理异步事件的方法,程序通过设置回调函数告诉系统内核,在信号产生后要做什么操作。系统中很多场景会产生信号,例如:

    • 用户按下某些终端键,使终端产生信号。例如,用户在终端按下了中断键(一般为Ctrl+C组合键),会发送SIGINT信号通知程序停止运行。
    • 系统中发生了某些特定事件,例如,当alarm函数设置的定时器超时,内核发送SIGALRM信号,或者一个进程终止时,内核发送SIGCLD信号给其父进程。
    • 某些硬件异常,例如,除数为0、无效的内存引用。
    • 程序中使用函数发送信号,例如,调用kill函数将任意信号发送给另一个进程。
      感兴趣的读者可以自行深入了解UNIX编程相关内容。

    接着分析initServer函数:

    void initServer(void) {    
        server.db = zmalloc(sizeof(redisDb)*server.dbnum);
    
        // [7]
        if (server.port != 0 &&
            listenToPort(server.port,server.ipfd,&server.ipfd_count) == C_ERR)
            exit(1);
        ...
    
        // [8]
        for (j = 0; j < server.dbnum; j++) {
            server.db[j].dict = dictCreate(&dbDictType,NULL);
            server.db[j].expires = dictCreate(&keyptrDictType,NULL);
            ...
        }
    
        // [9]
        evictionPoolAlloc(); 
        server.pubsub_channels = dictCreate(&keylistDictType,NULL);
        server.pubsub_patterns = listCreate();
        ...
    }
    

    【7】如果配置了server.port,则开启TCP Socket服务,接收用户请求。如果配置了server.tls_ port,则开启TLS Socket服务,Redis 6.0开始支持TLS连接。如果配置了server.unixsocket,则开启UNIX Socket服务。如果上面3个选项都没有配置,则报错退出。
    【8】初始化数据库server.db,用于存储数据。
    【9】evictionPoolAlloc函数初始化LRU/LFU样本池,用于实现LRU/LFU近似算法。
    继续初始化server中存储运行时数据的相关属性:

    void initServer(void) {
        ...
        // [10]
        if (aeCreateTimeEvent(server.el, 1, serverCron, NULL, NULL) == AE_ERR) {
            serverPanic("Can't create event loop timers.");
            exit(1);
        }
    
        // [11]
        for (j = 0; j < server.ipfd_count; j++) {
            if (aeCreateFileEvent(server.el, server.ipfd[j], AE_READABLE,
                acceptTcpHandler,NULL) == AE_ERR)
                {
                    serverPanic(
                        "Unrecoverable error creating server.ipfd file event.");
                }
        }
        ...
    
        // [12]
        aeSetBeforeSleepProc(server.el,beforeSleep);
        aeSetAfterSleepProc(server.el,afterSleep);
    
        // [13]
        if (server.aof_state == AOF_ON) {
            server.aof_fd = open(server.aof_filename,
                                   O_WRONLY|O_APPEND|O_CREAT,0644);
            ...
        }
    
        // [14]
        if (server.arch_bits == 32 && server.maxmemory == 0) {
            ...
            server.maxmemory = 3072LL*(1024*1024); /* 3 GB */
            server.maxmemory_policy = MAXMEMORY_NO_EVICTION;
        }
        // [15]
        if (server.cluster_enabled) clusterInit();
        replicationScriptCacheInit();
        scriptingInit(1);
        slowlogInit();
        latencyMonitorInit();
    }
    

    【10】创建一个时间事件,执行函数为serverCron,负责处理Redis中的定时任务,如清理过期数据、生成RDB文件等。
    【11】分别为TCP Socket、TSL Socks、UNIX Socket注册监听AE_READABLE类型的文件事件,事件处理函数分别为acceptTcpHandler、acceptTLSHandler、acceptUnixHandler,这些函数负责接收Socket中的新连接,本书后续会详细分析acceptTcpHandler函数。
    【12】注册事件循环器的钩子函数,事件循环器在每次阻塞前后都会调用钩子函数。
    【13】如果开启了AOF,则预先打开AOF文件。
    【14】如果Redis运行在32位操作系统上,由于32位操作系统内存空间限制为4GB,所以将Redis使用内存限制为3GB,避免Redis服务器因内存不足而崩溃。
    【15】如果以Cluster模式启动,则调用clusterInit函数初始化Cluster机制。

    • replicationScriptCacheInit函数初始化server.repl_scriptcache_dict属性。
    • scriptingInit函数初始化LUA机制。
    • slowlogInit函数初始化慢日志机制。
    • latencyMonitorInit函数初始化延迟监控机制。

    总结:

    • redisServer结构体存储服务端配置项、运行时数据。
    • server.c/main是Redis启动方法,负责加载配置,初始化数据库,启动网络服务,创建并启动事件循环器。

    文章最后,介绍一下新书《Redis核心原理与实践》,本书通过深入分析Redis 6.0源码,总结了Redis核心功能的设计与实现。通过阅读本书,读者可以深入理解Redis内部机制及最新特性,并学习到Redis相关的数据结构与算法、Unix编程、存储系统设计,分布式系统架构等一系列知识。
    经过该书编辑同意,我会继续在个人技术公众号(binecy)发布书中部分章节内容,作为书的预览内容,欢迎大家查阅,谢谢。

    语雀平台预览:《Redis核心原理与实践》
    京东链接

  • 相关阅读:
    【转】编写高质量代码改善C#程序的157个建议——建议147:重构多个相关属性为一个类
    【转】编写高质量代码改善C#程序的157个建议——建议146:只对外公布必要的操作
    【转】编写高质量代码改善C#程序的157个建议——建议145:避免过长的方法和过长的类
    【转】编写高质量代码改善C#程序的157个建议——建议144:一个方法只做一件事
    【转】编写高质量代码改善C#程序的157个建议——建议143:方法抽象级别应在同一层次
    【转】编写高质量代码改善C#程序的157个建议——建议142:总是提供有意义的命名
    【转】编写高质量代码改善C#程序的157个建议——建议141:不知道该不该用大括号时,就用
    【转】编写高质量代码改善C#程序的157个建议——建议140:使用默认的访问修饰符
    【转】编写高质量代码改善C#程序的157个建议——建议139:事件处理器命名采用组合方式
    SpringMVC学习总结(六)——SpringMVC文件上传例子(2)
  • 原文地址:https://www.cnblogs.com/binecy/p/15422256.html
Copyright © 2020-2023  润新知