4.爬虫去重策略

第1种，太麻烦，不常用

第2种，当1亿条url时，占用内存过大，达9G

第3种，是第2种的优化，scrapy 用的即是第3种方法，可成倍减少内存占用，且不会重复

第4种，会大幅节省内存，1亿条url，占用空间：12M。但会出现冲突，把多个url算到一个位上去

第5种，是对4条的优化，减少冲突