VPP初始化
VLIB_INIT_FUNCTION用来定义构造函数，注册函数到vlib_main_t->init_function_registrations，这个链表在main()函数之前创建。
vlib_main()-> vlib_call_all_init_functions()注册的函数在这里被调用初始化，最后执行函数vlib_main_loop()。
像这样由宏定义和构造函数创建的全局链表的方式还有如下几个:
· VLIB_API_INIT_FUNCTION
· VLIB_CLI_COMMAND
· VLIB_CONFIG_FUNCTION
· VLIB_EARLY_CONFIG_FUNCTION
· VLIB_MAIN_LOOP_ENTER_FUNCTION
· VLIB_MAIN_LOOP_EXIT_FUNCTION
· VLIB_REGISTER_NODE
vpp/vnet/main.c的main()函数
程序的入口，设置vlib_plugin_main.handoff_structure_get_cb函数指针，指向vpp/vnet/main.c中的函数vnet_get_handoff_structure。
vlib/unix/plugin.c中的vnet_get_handoff_structure()函数调用上面的的函数指针handoff_structure_get_cb。
vnet_get_handoff_structure() 定义了一个静态变量，这个静态变量包含了主要数据指针，比如vlib_main，vnet_main和ethernet_main(看代码没有vlib_main)。每个插件注册的时候，都会通过vlib_plugin_register()将以上数据传递给插件。
最后调用vlib_unix_main()。
vlib/unix/main.c的vlib_unix_main()函数
vlib_plugin_early_init()函数会通过dlopen加载插件目录下的所有插件，这个目录可以通过命令行指定。默认的插件路径是 /usr/lib/vpp_plugins。
dlopen每个插件后，VPP会获取函数vlib_plugin_register的符号地址，所以每个插件都要求实现该函数，之前说过这个函数会传递非常重要的数据。
vlib_call_all_config_functions()函数解析所有的命令行选项，并且针对前期需求配置。
为以下线程创建线程栈，主要有三种类型的线程需要实现：
普通线程：比如统计采集。
EAL线程：处理包的工作。
Processes：这些都是定期执行、相互协作的多线程。比如DHCP租期续订的线程等。VPP主线程的超时到期之后会执行这些。
最后，该函数跳转到thread0()函数。
vlib/unix/main.c的thread0()函数
调用vlib/main.c的vlib_main()函数
vlib/main.c的vlib_main()函数
VLIB_REGISTER_NODE定义图节点，注册到vlib_main_t->node_registrations，vlib_register_all_static_nodes()遍历这个链表，创建图结点(不是连接，是创建)。
VLIB_INIT_FUNCTION声明的函数，由vlib_call_all_init_functions()调用初始化。
如果结点被创建，vlib/node.c的vlib_node_main_init()会对图结点进行初始化。
VLIB_MAIN_LOOP_ENTER_FUNCTION注册一个链表，vlib_call_all_main_loop_enter_functions()函数遍历该链表。
调用vlib_main_loop()
vlib/main.c的vlib_main_loop()函数
创建前面提到的相互协作的多线程，在while(1)循环中处理不同类型的图结点。
· VLIB_NODE_TYPE_PRE_INPUT：类似DBG_CLI的结点
· VLIB_NODE_TYPE_INPUT：这些是主要结点，主要从网卡或者硬件加速器获取数据包
· 进程等待信号，这个很重要，因为所有的客户端都要通过共享内存和VPP通信。客户端向共享内存发送一些API消息，并且向VPP发送信号(SIGUSR1)。
输入结点组织数据包，并且将他们发送到合适的中间结点。由dispatch_pending_node()进一步处理这些数据包。
1 int 2 main (int argc, char *argv[]) 3 { 4 int i; 5 vlib_main_t *vm = &vlib_global_main; 6 void vl_msg_api_set_first_available_msg_id (u16); 7 uword main_heap_size = (1ULL << 30); 8 u8 *sizep; 9 u32 size; 10 int main_core = 1; 11 cpu_set_t cpuset; 12 13 .......... 14 15 /* 16 * Look for and parse the "heapsize" config parameter. 17 * Manual since none of the clib infra has been bootstrapped yet. 18 * 19 * Format: heapsize <nn>[mM][gG] 20 */ 21 22 for (i = 1; i < (argc - 1); i++) 23 { 24 if (!strncmp (argv[i], "plugin_path", 11)) 25 { 26 if (i < (argc - 1)) 27 vlib_plugin_path = argv[++i]; 28 } 29 if (!strncmp (argv[i], "test_plugin_path", 16)) 30 { 31 if (i < (argc - 1)) 32 vat_plugin_path = argv[++i]; 33 } 34 else if (!strncmp (argv[i], "heapsize", 8)) 35 { 36 sizep = (u8 *) argv[i + 1]; 37 size = 0; 38 while (*sizep >= '0' && *sizep <= '9') 39 { 40 size *= 10; 41 size += *sizep++ - '0'; 42 } 43 if (size == 0) 44 { 45 fprintf 46 (stderr, 47 "warning: heapsize parse error '%s', use default %lld ", 48 argv[i], (long long int) main_heap_size); 49 goto defaulted; 50 } 51 52 main_heap_size = size; 53 54 if (*sizep == 'g' || *sizep == 'G') 55 main_heap_size <<= 30; 56 else if (*sizep == 'm' || *sizep == 'M') 57 main_heap_size <<= 20; 58 } 59 else if (!strncmp (argv[i], "main-core", 9)) 60 { 61 if (i < (argc - 1)) 62 { 63 errno = 0; 64 unsigned long x = strtol (argv[++i], 0, 0); 65 if (errno == 0) 66 main_core = x; 67 } 68 } 69 } 70 71 defaulted: 72 73 /* set process affinity for main thread */ 74 CPU_ZERO (&cpuset); 75 CPU_SET (main_core, &cpuset); 76 pthread_setaffinity_np (pthread_self (), sizeof (cpu_set_t), &cpuset); 77 78 /* Set up the plugin message ID allocator right now... */ 79 vl_msg_api_set_first_available_msg_id (VL_MSG_FIRST_AVAILABLE); 80 81 /* Allocate main heap */ 82 if (clib_mem_init_thread_safe (0, main_heap_size)) 83 { 84 vm->init_functions_called = hash_create (0, /* value bytes */ 0); 85 vpe_main_init (vm); 86 return vlib_unix_main (argc, argv); 87 } 88 else 89 { 90 { 91 int rv __attribute__ ((unused)) = 92 write (2, "Main heap allocation failure! ", 31); 93 } 94 return 1; 95 } 96 }
vlib_unix_main函数
1 int 2 vlib_unix_main (int argc, char *argv[]) 3 { 4 vlib_main_t *vm = &vlib_global_main; /* one and only time for this! */ 5 unformat_input_t input; 6 clib_error_t *e; 7 int i; 8 9 vm->argv = (u8 **) argv; 10 vm->name = argv[0]; 11 vm->heap_base = clib_mem_get_heap (); 12 vm->heap_aligned_base = (void *) 13 (((uword) vm->heap_base) & ~(VLIB_FRAME_ALIGN - 1)); 14 ASSERT (vm->heap_base); 15 16 unformat_init_command_line (&input, (char **) vm->argv); 17 if ((e = vlib_plugin_config (vm, &input))) 18 { 19 clib_error_report (e); 20 return 1; 21 } 22 unformat_free (&input); 23 24 i = vlib_plugin_early_init (vm); 25 if (i) 26 return i; 27 28 unformat_init_command_line (&input, (char **) vm->argv); 29 if (vm->init_functions_called == 0) 30 vm->init_functions_called = hash_create (0, /* value bytes */ 0); 31 e = vlib_call_all_config_functions (vm, &input, 1 /* early */ ); 32 if (e != 0) 33 { 34 clib_error_report (e); 35 return 1; 36 } 37 unformat_free (&input); 38 39 /* always load symbols, for signal handler and mheap memory get/put backtrace */ 40 clib_elf_main_init (vm->name); 41 42 vec_validate (vlib_thread_stacks, 0); 43 vlib_thread_stack_init (0); 44 45 __os_thread_index = 0; 46 vm->thread_index = 0; 47 48 i = clib_calljmp (thread0, (uword) vm, 49 (void *) (vlib_thread_stacks[0] + 50 VLIB_THREAD_STACK_SIZE)); 51 return i; 52 }
thread0 -> vlib_main() 下面介绍vlib_main函数
vlib_main
1 int 2 vlib_main (vlib_main_t * volatile vm, unformat_input_t * input) 3 { 4 clib_error_t *volatile error; 5 vlib_node_main_t *nm = &vm->node_main; 6 7 vm->queue_signal_callback = dummy_queue_signal_callback; 8 9 clib_time_init (&vm->clib_time); 10 11 /* Turn on event log. */ 12 if (!vm->elog_main.event_ring_size) 13 vm->elog_main.event_ring_size = 128 << 10; 14 elog_init (&vm->elog_main, vm->elog_main.event_ring_size); 15 elog_enable_disable (&vm->elog_main, 1); 16 vl_api_set_elog_main (&vm->elog_main); 17 (void) vl_api_set_elog_trace_api_messages (1); 18 19 /* Default name. */ 20 if (!vm->name) 21 vm->name = "VLIB"; 22 23 if ((error = vlib_physmem_init (vm))) 24 { 25 clib_error_report (error); 26 goto done; 27 } 28 29 if ((error = vlib_map_stat_segment_init (vm))) 30 { 31 clib_error_report (error); 32 goto done; 33 } 34 35 if ((error = vlib_buffer_main_init (vm))) 36 { 37 clib_error_report (error); 38 goto done; 39 } 40 41 if ((error = vlib_thread_init (vm))) 42 { 43 clib_error_report (error); 44 goto done; 45 } 46 47 /* Register static nodes so that init functions may use them. */ 48 vlib_register_all_static_nodes (vm); 49 50 /* Set seed for random number generator. 51 Allow user to specify seed to make random sequence deterministic. */ 52 if (!unformat (input, "seed %wd", &vm->random_seed)) 53 vm->random_seed = clib_cpu_time_now (); 54 clib_random_buffer_init (&vm->random_buffer, vm->random_seed); 55 56 /* Initialize node graph. */ 57 if ((error = vlib_node_main_init (vm))) 58 { 59 /* Arrange for graph hook up error to not be fatal when debugging. */ 60 if (CLIB_DEBUG > 0) 61 clib_error_report (error); 62 else 63 goto done; 64 } 65 66 /* Direct call / weak reference, for vlib standalone use-cases */ 67 if ((error = vpe_api_init (vm))) 68 { 69 clib_error_report (error); 70 goto done; 71 } 72 73 if ((error = vlibmemory_init (vm))) 74 { 75 clib_error_report (error); 76 goto done; 77 } 78 79 if ((error = map_api_segment_init (vm))) 80 { 81 clib_error_report (error); 82 goto done; 83 } 84 85 /* See unix/main.c; most likely already set up */ 86 if (vm->init_functions_called == 0) 87 vm->init_functions_called = hash_create (0, /* value bytes */ 0); 88 if ((error = vlib_call_all_init_functions (vm))) 89 goto done; 90 91 nm->timing_wheel = clib_mem_alloc_aligned (sizeof (TWT (tw_timer_wheel)), 92 CLIB_CACHE_LINE_BYTES); 93 94 vec_validate (nm->data_from_advancing_timing_wheel, 10); 95 _vec_len (nm->data_from_advancing_timing_wheel) = 0; 96 97 /* Create the process timing wheel */ 98 TW (tw_timer_wheel_init) ((TWT (tw_timer_wheel) *) nm->timing_wheel, 99 0 /* no callback */ , 100 10e-6 /* timer period 10us */ , 101 ~0 /* max expirations per call */ ); 102 103 vec_validate (vm->pending_rpc_requests, 0); 104 _vec_len (vm->pending_rpc_requests) = 0; 105 vec_validate (vm->processing_rpc_requests, 0); 106 _vec_len (vm->processing_rpc_requests) = 0; 107 108 if ((error = vlib_call_all_config_functions (vm, input, 0 /* is_early */ ))) 109 goto done; 110 111 /* Sort per-thread init functions before we start threads */ 112 vlib_sort_init_exit_functions (&vm->worker_init_function_registrations); 113 114 /* Call all main loop enter functions. */ 115 { 116 clib_error_t *sub_error; 117 sub_error = vlib_call_all_main_loop_enter_functions (vm); 118 if (sub_error) 119 clib_error_report (sub_error); 120 } 121 122 switch (clib_setjmp (&vm->main_loop_exit, VLIB_MAIN_LOOP_EXIT_NONE)) 123 { 124 case VLIB_MAIN_LOOP_EXIT_NONE: 125 vm->main_loop_exit_set = 1; 126 break; 127 128 case VLIB_MAIN_LOOP_EXIT_CLI: 129 goto done; 130 131 default: 132 error = vm->main_loop_error; 133 goto done; 134 } 135 136 vlib_main_loop (vm); 137 138 done: 139 /* Call all exit functions. */ 140 { 141 clib_error_t *sub_error; 142 sub_error = vlib_call_all_main_loop_exit_functions (vm); 143 if (sub_error) 144 clib_error_report (sub_error); 145 } 146 147 if (error) 148 clib_error_report (error); 149 150 return 0; 151 }
