skynet源码分析之skynet_monitor

使用skynet框架中，偶尔会遇到A message from [ :0000000b ] to [ :0000000c ] maybe in an endless loop (version = 13187)类似的error，意思是0000000c服务处理0000000b服务发过来的某条消息时可能陷入死循环。出现这种error的原因：业务层发生死循环或者比较耗时（超过5s）。这就是skyent_monitor的作用。

1. skynet启动时会启动一个monitor线程，用来监测各个工作线程。5s循环一次，调用skynet_monitor_check()检测工作线程，稍后说明。

// skynet-src/skynet_start.c
static void *
thread_monitor(void *p) {
        struct monitor * m = p;
        int i;
        int n = m->count;
        skynet_initthread(THREAD_MONITOR);
        for (;;) {
                CHECK_ABORT
                for (i=0;i<n;i++) {
                        skynet_monitor_check(m->m[i]);
                }
                for (i=0;i<5;i++) {
                        CHECK_ABORT
                        sleep(1);
                }
        }

        return NULL;
}

每个工作线程指定一个skynet_monitor c结构的变量，处理消息前，会记录消息的源地址和目的地址(第5行)；处理完消息，清空记录(第7行)。并且会累加version(15行)。

// skynet-src/skynet_server.c
struct message_queue * 
skynet_context_message_dispatch(struct skynet_monitor *sm, struct message_queue *q, int weight){
    ...
    skynet_monitor_trigger(sm, msg.source , handle);
    dispatch_message(ctx, &msg); //处理消息
    skynet_monitor_trigger(sm, 0,0);
}

// skynet-src/skynet_monitor.c
void 
skynet_monitor_trigger(struct skynet_monitor *sm, uint32_t source, uint32_t destination) {
        sm->source = source;
        sm->destination = destination;
        ATOM_INC(&sm->version);
}

monitor线程每5s调用一次skynet_monitor_check()检测工作线程：

没有死循环或者很耗时的操作，version在不断累加，设置check_version等于version(第10行)。

如果version等于check_version，有两种情况

1. 这5s期间工作线程没有消息可处理，此时，destination为0

2. 在处理某条消息时，耗时超过5s，说明有可能死循环了，于是就有了最初的错误日志(第7行)。

// skynet-src/skynet_monitor.c
void 
skynet_monitor_check(struct skynet_monitor *sm) {
        if (sm->version == sm->check_version) {
                if (sm->destination) {
                        skynet_context_endless(sm->destination);
                        skynet_error(NULL, "A message from [ :%08x ] to [ :%08x ] maybe in an endless loop (version = %d)", sm->source , sm->destination, sm->version);
                }
        } else {
                sm->check_version = sm->version;
        }
}

2. skynet定义了一个monitor结构

// skynet-src/skynet_start.c
struct monitor {
        int count; //工作线程总数
        struct skynet_monitor ** m; //监测各个工作线程
        pthread_cond_t cond; //条件变量
        pthread_mutex_t mutex; //锁
        int sleep; //休眠的工作线程数
        int quit;
};

当没有消息处理(全局消息队列为空)时，工作线程进入休眠(第14行)，并且累加m->sleep变量(第10行)。等待socket线程，timer线程唤醒。

// skynet-src/skynet_start.c
static void *
thread_worker(void *p) {
        ...
        struct message_queue * q = NULL;
        while (!m->quit) {
                q = skynet_context_message_dispatch(sm, q, weight);
                if (q == NULL) {
                        if (pthread_mutex_lock(&m->mutex) == 0) {
                                ++ m->sleep;
                                // "spurious wakeup" is harmless,
                                // because skynet_context_message_dispatch() can be call at any time.
                                if (!m->quit)
                                        pthread_cond_wait(&m->cond, &m->mutex);
                                -- m->sleep;
                                if (pthread_mutex_unlock(&m->mutex)) {
                                        fprintf(stderr, "unlock mutex error");
                                        exit(1);
                                }
                        }
                }
        }
        return NULL;
}

第6行，调用pthread_cond_signal唤醒阻塞的工作线程。

当socket线程接收到数据时，只有当所有工作线程都休眠时才会去唤醒wakeup(m,0)

当timer定时器线程到达时，只要有工作线程休眠，都会去唤醒wakeup(m,m->count-1)，是因为定时器事件需要及时处理。

// skynet-src/skynet_start.c
static void
wakeup(struct monitor *m, int busy) {
        if (m->sleep >= m->count - busy) {
                // signal sleep worker, "spurious wakeup" is harmless
                pthread_cond_signal(&m->cond);
        }
}

static void *
thread_socket(void *p) {
        struct monitor * m = p;
        ...
        wakeup(m,0);
        return NULL;
}

static void *
thread_timer(void *p) {
        ...
        wakeup(m,m->count-1);
        ...
        return NULL;
}