高效爬虫

1 gevent

2 asyncio

3 Scrapy

4 scrapy 中间件

5 crapy 去重与 scrapy_redis 去重与 布隆过滤器

6 scrapy 分布式爬虫

7 scrapy 集成 selenium

8 布隆过滤器

9 httpx 异步请求库

10 async semphore