503
最近我在爬取某图片网站,在爬取35页后就直接跳过去了一直到程序结束也没有报错,但是内容没有抓取下来。Debug调试后发现循环35页后爆出Response【503】
应该是ip被封禁了 过一段时间就可以了
可以使用代理ip
也有可能是别的原因请自行判断,可以手动访问试一下
状态码503 表示服务器由于在维护或已经超载而无法响应。例如,如果某些线程或数据库连接池已经没有空闲则servlet会返回这个头信息。服务器可提供一个Retry-After头信息告诉客户端什么时候可以在试一次。
该错误是发生在接受响应的 HTTP 数据流。
该数据流包括状态编码, 其值取决于 HTTP 协议 。 解析 该数据流得到 状态编码 和其他有用信息。
返回 503有以下可能
1.表示服务器由于在维护或已经超载而无法响应
2.请求速度过快服务器判断是爬虫拉黑(有一点时间)
3.请求投header错误
可以从以下几方面入手
1.等待一段时间后再次请求
2.定时更换代理ip
3.检查请求头
4或者更换一个新的请求头