1 int main(int argc, void *argv[]) 2 { 3 struct epoll_event events[10]; 4 int daemonized = 0; 5 char ch; 6 7
8 while ((ch = getopt(argc, (char* const*)argv, "vhd")) != -1) { 9 switch(ch) { 10 case 'v': 11 version(); 12 break; 13 case 'd': 14 daemonized = 1; 15 break; 16 case 'h': 17 case '?': 18 default: 19 usage(); 20 } 21 } 22 23 24 g_conf = initconfig(); 25 loadconfig(g_conf); 26 27 28 set_nofile(1024); 29 30 31 vector<char *>::iterator it = g_conf->modules.begin(); 32 for(; it != g_conf->modules.end(); it++) { 33 dso_load(g_conf->module_path, *it); 34 } 35 36 37 if (g_conf->seeds == NULL) { 38 SPIDER_LOG(SPIDER_LEVEL_ERROR, "We have no seeds!"); 39 } else { 40 int c = 0; 41 char ** splits = strsplit(g_conf->seeds, ',', &c, 0); 42 while (c--) { 43 Surl * surl = (Surl *)malloc(sizeof(Surl)); 44 surl->url = url_normalized(strdup(splits[c])); 45 surl->level = 0; 46 surl->type = TYPE_HTML; 47 if (surl->url != NULL) 48 push_surlqueue(surl); 49 } 50 } 51 52 53 if (daemonized) 54 daemonize(); 55 56
57 chdir("download"); 58 59 60 int err = -1; 61 if ((err = create_thread(urlparser, NULL, NULL, NULL)) < 0) { 62 SPIDER_LOG(SPIDER_LEVEL_ERROR, "Create urlparser thread fail: %s", strerror(err)); 63 } 64 65 /* waiting seed ourl ready */ 66 int try_num = 1; 67 while(try_num < 8 && is_ourlqueue_empty()) 68 usleep((10000 << try_num++)); 69 70 if (try_num >= 8) { 71 SPIDER_LOG(SPIDER_LEVEL_ERROR, "NO ourl! DNS parse error?"); 72 } 73 74 /* set ticker */ 75 if (g_conf->stat_interval > 0) { 76 signal(SIGALRM, stat); 77 set_ticker(g_conf->stat_interval); 78 } 79 80 /* begin create epoll to run */ 81 int ourl_num = 0; 82 g_epfd = epoll_create(g_conf->max_job_num); 83 84 while(ourl_num++ < g_conf->max_job_num) { 85 if (attach_epoll_task() < 0) 86 break; 87 } 88 89 /* epoll wait */ 90 int n, i; 91 while(1) { 92 n = epoll_wait(g_epfd, events, 10, 2000); 93 printf("epoll:%d ",n); 94 if (n == -1) 95 printf("epoll errno:%s ",strerror(errno)); 96 fflush(stdout); 97 98 if (n <= 0) { 99 if (g_cur_thread_num <= 0 && is_ourlqueue_empty() && is_surlqueue_empty()) { 100 sleep(1); 101 if (g_cur_thread_num <= 0 && is_ourlqueue_empty() && is_surlqueue_empty()) 102 break; 103 } 104 } 105 106 for (i = 0; i < n; i++) { 107 evso_arg * arg = (evso_arg *)(events[i].data.ptr); 108 if ((events[i].events & EPOLLERR) || 109 (events[i].events & EPOLLHUP) || 110 (!(events[i].events & EPOLLIN))) { 111 SPIDER_LOG(SPIDER_LEVEL_WARN, "epoll fail, close socket %d",arg->fd); 112 close(arg->fd); 113 continue; 114 } 115 116 epoll_ctl(g_epfd, EPOLL_CTL_DEL, arg->fd, &events[i]); /* del event */ 117 118 printf("hello epoll:event=%d ",events[i].events); 119 fflush(stdout); 120 create_thread(recv_response, arg, NULL, NULL); 121 } 122 } 123 124 SPIDER_LOG(SPIDER_LEVEL_DEBUG, "Task done!"); 125 close(g_epfd); 126 return 0; 127 }
本项目主要进行网页的抓取，上述为主控制模块
while ((ch = getopt(argc, (char* const*)argv, "vhd")) != -1) {
主要作用为命令行参数的解析，根据命令行参数我们判断是一些额外输出信息和以什么方式进行（ps：守护进成）
24 g_conf = initconfig(); 25 loadconfig(g_conf);
进行初始化配置，对log配置进行加载，
log配置包含了一些抓取深度，种子，动态库路径等等之类的信息
下面主要是一些需要抓取前加载的配置文件
cur_thread_num. max_job_num=1 seeds=http://www.imeiding.com logfile=spiderq.log # Set the level to log. The probable values list as follow: # 0 DEBUG # 1 INFO # 2 WARN # 3 ERROR # 4 CRIT log_level=0 max_depth=0 module_path=/etc/spider/modules/ load_module=savehtml load_module=saveimage load_module=maxdepth load_module=domainlimit load_module=headerfilter # specify which type of resource we accept. Each one a line. # text/html is accepted default accept_types=image/jpeg
我们将动态库都存在vector里面，以便后续使用
但是在读取配置文件的时候我们不要忘记字符串的处理，比如，空行，注释行#，空格，=划分等等问题
接下来设置守护进程，以便使任务脱离终端控制，
创建线程，通过libevent进行dns解析，，开启epoll任务，向epoll中注册事件，模式为ET模式，不断的等待内核中epoll事件的触发并进行处理
通过开启线程进行http请求，手写http头部，进行发送给server端一个http请求报文
http协议请求页面时的流程：
1、 输入网址
2、 向DNS发送解析请求
3、 DNS返回给我们一个对应的IP地址
4、 通过IP地址向资源所在的主机发送请求
5、 如果资源存在，主机返回200状态，同时返回数据部分
6、 本地http客户端（一般来说是浏览器）接收数据
7、 得到资源
得到http接受报文的时候，对http接收报文进行解析，解析内部的url并放入队列中，并对http接收报文进行持久化操作