requests模块:python原生的一款基于网络请求的模块,功能非常强大,简单便捷,效率极高,
作用:模拟浏览器发送请求。
需要在你的应用程序中导入该模块,首先安装。
搜索requests
然后点击下面的install即可,在项目中就可用通过,import requests引用
requests编码流程:
1、指定url地址
2、发送请求
3、获取响应数据
4、持久化存储
测试代码:
import requests url = "https://www.sogou.com/" resp = requests.get(url=url) # 解决爬到内容的中文乱码问题 resp.encoding = 'utf-8' resp_text = resp.text print(resp_text) with open('D:StudyPythonscrapysougou.html','w',encoding='utf-8') as fp: fp.write(resp_text) print("爬取成功")
学习网站推荐:https://www.bilibili.com/video/BV1Yh411o7Sz?p=5