scrapy异常状态码处理
在setting.py中加入
# 403状态的响应不被自动忽略，对403 的响应做个性化处理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到错误忽略掉不重新请求，则设成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]在setting.py中加入
# 403状态的响应不被自动忽略，对403 的响应做个性化处理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到错误忽略掉不重新请求，则设成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]