day01 urllib.request 的简单使用

 简单网络爬虫案例
 1 import urllib.request

# 请求百度地址
url = "http://www.baidu.com/"
# get请求
response = urllib.request.urlopen(url)
# 将文件获取内容转换成字符串
data = response.read().decode("utf-8")

# 将数据写入文件
with open("baidu.html","w",encoding="utf-8") as f :
    f.write(data)
# python爬取回来的数据： str byte
# 如果爬回来是bytes类型 : 但是你写入的时候需要字符串 decode("utf-8")
# 如果爬回来是str类型 : 但是你写入的时候需要bytes encode("utf-8")

　中文关键转译获取
 1 import  urllib.request
import urllib.parse
import string

#请求百度地址
url = "http://www.baidu.com/s?wd="

#拼接字符串（汉字）
name = "美女"
final_url = url + name

#将包含汉字的网址进行转译
new_url=urllib.parse.quote(final_url,safe=string.printable)

#打印转译字符
print(new_url)

#get的请求
response = urllib.request.urlopen(new_url)

# 将文件获取内容转换成字符串
data = response.read().decode()

#将爬取到的数据保存到本地
with open("baidu.html","w",encoding = "utf-8") as f :
    f.write(data)