凤凰新闻扒取爬虫第一版
第一版已经正常运行,但是会出现一些问题:
1. set是存放链接的集合,它会越来越大
2. 因为链接的集合越来越大,造成从集合中查到链接越来越费时间
为了解决这一问题,现在将存放链接的集合拆分为多个集合: