最近网站被这两个IP段频繁爬取，压力巨大。网上查询一番，这里简单谈谈。
1、首先是nslookup反查，什么也查不到，按理说这应该不是什么正规蜘蛛。
2、考虑到有不少匿名蜘蛛，像百度站长工具的robots检测，抓取xml地图的都时临时工蜘蛛，对比下测试的IP段也大概率不是匿名蜘蛛。
3、网上唯一找到的zhangu网上的信息说是匿名蜘蛛，不过抓取很奇怪，没有入口的URL也抓的到，够牛逼的。
最后的结论：全部屏蔽掉了。观察了几天，貌似对搜索引擎的抓取并无影响，并未有明显的抓取量，索引量等变化。
最近网站被这两个IP段频繁爬取，压力巨大。网上查询一番，这里简单谈谈。
1、首先是nslookup反查，什么也查不到，按理说这应该不是什么正规蜘蛛。
2、考虑到有不少匿名蜘蛛，像百度站长工具的robots检测，抓取xml地图的都时临时工蜘蛛，对比下测试的IP段也大概率不是匿名蜘蛛。
3、网上唯一找到的zhangu网上的信息说是匿名蜘蛛，不过抓取很奇怪，没有入口的URL也抓的到，够牛逼的。
最后的结论：全部屏蔽掉了。观察了几天，貌似对搜索引擎的抓取并无影响，并未有明显的抓取量，索引量等变化。