网络爬虫结构

网络爬虫的基本工作流

1）首先选取url

2）将urll放到待抓取的url队列中

3）从待抓取url队列中读取url -----》解析dns----》获取主机IP--》下载对应的网页---》存储到已经下载的网页库中----》将url放到已经抓取的url队列中

4）分析已经抓取的url队列中的url---》重已经下载的网页数据中提url 比重————》未抓取的放到待抓取队列中