爬虫爬取的数据分为服务器渲染,或者本地渲染
用户发送请求后获得的是服务器返回的完整的html代码,就叫做服务器渲染
本地渲染是服务器通过发送框架,和数据在本地拼接的叫做本地渲染,
get-显示提交
post-隐示提交
url中请求一般都是使用的get请求
import requests #get类型案例 # query=input("输入关键词") # header={ # "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36" # } # url=f"https://www.baidu.com/s?wd={query}" # resp=requests.get(url,headers=header) # print(resp) # print(resp.text) #post类型案例 # url="https://fanyi.baidu.com/sug" # s=input("请输入要翻译的英文") # dat={ # "kw":s # } # #发送post请求,发送的数据必须放在字典中,通过data参数进行传递 # resp=requests.post(url,data=dat) # print(resp.json()) #将服务器返回内容处理成json # #存入文件 # with open("mybaidu.html",mode="w",encoding="utf-8") as f: # f.write(read) # print("over") url="https://movie.douban.com/j/chart/top_list?" #重新封装参数 param={ "type": "24", "interval_id": "100:90", "action":"", "start": "0", "limit": "20" } header={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36" } resp=requests.get(url=url,params=param,headers=header) print(resp.json()) resp.close()