获取待爬取页面
今天继续爬取一个网站,http://www.27270.com/ent/meinvtupian/
这个网站具备反爬,so我们下载的代码有些地方处理的也不是很到位,大家重点学习思路,有啥建议可以在评论的地方跟我说说。
为了以后的网络请求操作方向,我们这次简单的进行一些代码的封装操作。
在这里你可以先去安装一个叫做 retrying
的模块
pip install retrying
这个模块的具体使用,自己去百度吧。嘿嘿哒~
在这里我使用了一个随机产生user_agent的方法
import requests
from retrying import retry
import random
import datetime
class R: