1 一般对爬虫的限制
爬虫会造成问题
对网站服务器的骚扰
可能会引起法律问题
而且可能由于爬虫具有一定的突破性, 可能获取一些平常不能获取到的数据造成隐私泄露
一般对爬虫限制的两个方法
1) 来源审查, 判断User-Agent进行限制
具体来说就是根据HTTP来访的协议头中的User-Agent
2) robots协议
2 robots协议
在网站的根目录下, 有一个robots.txt文件就是该网站的robots协议的描述
如果网站没有robots协议就说明该网站对网络爬虫没有限制
robots的格式是
User-agent : 拒绝的网络爬虫
Disallow: 禁止爬取的目录
User-agent: HuihuiSpider
Disallow: /
#这个robots协议就说明不允许HuihuiSpider 爬取该网站的任何网页
robots协议的规则
robots是建议性的文件, 无法做到约束, 但是不遵守会存在法律风险
如果爬取的性能类似人的操作, 不会造成对网站服务器性能的影响, 原则上可以忽略robots协议