python爬虫学习笔记（1）

一、请求一个网页内容打印

　　爬取某个网页：

from urllib import request
# 需要爬取的网页
url = "https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9085796282359478067%22%7D&n_type=0&p_from=1"
# 打开网页，并返回
rsp = request.urlopen(url)
# 读取返回的结果
html = rsp.read()
# 由于rsp返回的是流文件需要解码
html = html.decode()
printf(html)

　　爬取一个网页的基本流程：

　　　　1、获取所需网页request.urlopen("网页链接")

　　　　2、读取返回页面 rsp.read()

　　　　3、解码：html.decode（）

二、自动识别网页编码

from urllib import request
import chardet
url = "https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_9085796282359478067%22%7D&n_type=0&p_from=1" 
res = request.urlopen(url)
html = res.read()
# 检查编码
cs =  chardet.detect(html)
# 编码设置
html = html.decode(cs.get("encoding",  "utf-8"))
print(html)

　　第7行返回一个类似{'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}的字典   encoding是编码格式，confidence是前面编码格式的概率。第九行进行解码设置，如果有匹配的编码按照获取的方式进行解码，否则按照“utf-8”的方式解码。

三、到百度页面爬取指定内容

from urllib import request, parse
if __name__ =='__main__':
    url = "http://www.baidu.com/s?"
    # 输入关键词
    wd = input("Input keyword:")
    # 把关键字以字典保存
    qs = {
           "wd":wd          
    }
    # 把关键字进行编码
    qs = parse.urlencode(qs)
    # 拼凑成完整的url
    fullurl = url + qs
    res = request.urlopen(fullurl)
    html = res.read().decode()
    print(html)

四、进行百度翻译:

　　解析：

　　　　1、打开F12

　　　　2、尝试输入单词，发现每输入一个字母都有请求

　　　　3、找到请求的地址：https://fanyi.baidu.com/sug

　　　　4、在NetWork-All-Headers中查看，发现FormData的关键字是 kw：单词

　　　　

　　5、打开sug文件发现数据时json格式

　　方式一：

from urllib import request, parse
import json
baseurl = "https://fanyi.baidu.com/sug"
word = input("请输入单词: ")
data = {
   "kw":word 
} 
# 对单词进行编码
data = parse.urlencode(data).encode()
# 构建请求头
rsp = request.urlopen(baseurl, data = data)
json_data = rsp.read().decode()
# 由于返回的是json数据，转换成字典
json_data = json.loads(json_data)
for item in json_data['data']:
    print(item['k'], item['v'])

 　　翻译流程：

　　　　1、利用data构造内容，然后用URLopen打开

　　　　2、返回一个json格式

　　　　3、转换成字典，输出

　　方式二：

from urllib import request, parse
import json
baseurl = "https://fanyi.baidu.com/sug"
word = input("请输入单词:")
data = {
     "kw": word      
}
data = parse.urlencode(data).encode('utf-8')
headers = {
           'Content-Length':len(data)    
}
req = request.Request(url = baseurl, data = data, headers = headers)
res = request.urlopen(req)
json_data = res.read().decode()
json_data = json.loads(json_data)
for item in json_data['data']:
    print(item['k'], item['v])

五、urllib.error

　　在某些时候爬取网站出现问题，可以通过 URLError和HTTPError查找问题

　　1、URLError产生原因

　　　　- 没网

　　　　- 没有指定服务器

　　　　- 服务器连接失败

from urllib import request, error
if __name__ == '__main__':
    url = "http://www.baidu.com"
    try:
        req = request.Request(url)
        res = request.urlopen(req)
        html = res.read().decode()
    except error.URLError as e:
        print("URLError: {0}".format(e.reason))
    except Exception as e:
        print(e)

　　2、HTTPError

　　　　HTTPError一般对应HTTP请求的返回码错误，如果返回的错误码是400以上引发HTTPError

　　　　与URLError的关系：

　　　　　　OSError  -> URLError  -> HTTPError

　　　　代码：

from urllib  import request, error
if __name__ == '__main__':
    url = "http://www.baidu.com"
    try
        req = request.Request(url)
        res = request.urlopen(req)
        html = res.read().decode()
    except error.HTTPError as e:
        print ("URLError: {0}".format(e.reason))
        print ("HTTPError: {0}".format(e))
    except error.URLError as e:
        print ("URLError: {0}".format(e.reason))
        print ("HTTPError: {0}".format(e))
    except Exception as e:
        print(e)