在爬虫过程中我们可能遇到
这样,
或者这样,
其实这两种万变不离其宗,关键就是headers中的“referer” 字段(referer有时写作Referer,注意观察)
所以我们可以在代码中依据原网站referer
设置规则构造请求headers
在爬虫过程中我们可能遇到
这样,
或者这样,
其实这两种万变不离其宗,关键就是headers中的“referer” 字段(referer有时写作Referer,注意观察)
所以我们可以在代码中依据原网站referer
设置规则构造请求headers