爬虫

爬虫的分类：
通用：
聚焦：数据解析
增量式：监测
http：客户端和服务器端进行数据交互的形式
证书密钥加密：
什么是证书？
证书种包含的是经过数字签名的公钥
反爬：
robots
UA伪装
请求载体的身份标识
在headers种应用一个字典（请求头信息：UA）
动态加载的数据
如何处理动态请求参数：
封装到一个字典中，字典需要作用到data或者params
数据解析
回顾：总结了编码的流程
指定url
发起请求
获取响应数据
数据解析
持久化存储
数据解析的作用
用于获取页面中局部的页面源码数据
如何实现数据解析
正则
bs4（独有）
xpath（最为通用）
pyquery（自学）
数据解析的通用原理是什么？
标签定位
将标签中间存储的文本数据或者其属性值进行捕获
正则解析
需求：爬取糗事百科中的图片数据
确认了页面中没有动态加载数据的存在
import requests
import os
import re
from urllib import request
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}

封装一个通用的url模板(不可变)

url = 'https://www.qiushibaike.com/pic/page/%d/'
​
dirName = './qiutuLibs'
if not os.path.exists(dirName):
os.mkdir(dirName)

for page in range(1,3):
print('正在爬取第{}页的图片数据......'.format(page))
#拼接成了某一个页码对应的完整的url
new_url = format(url%page)
#获取页面源码数据（字符串）
page_text = requests.get(url=new_url,headers=headers).text
#数据解析：图片img标签中的src的属性值解析出来
ex = '

.?<img src="(.?)" alt=.*?

'
img_src_list = re.findall(ex,page_text,re.S)
for img_src in img_src_list:
#就是一个完整的图片地址
img_src = 'https:'+img_src
img_name = img_src.split('/')[-1]
img_path = dirName+'/'+img_name
request.urlretrieve(img_src,img_path)
print(img_name,'下载成功！！！')
bs4解析
环境的安装：
pip install bs4
pip install lxml
bs4解析原理
实例化一个BeautifulSoup的对象，且将即将被解析的页面源码加载到该对象中
使用该对象中的属性或者方法进行标签定位和数据提取
BeautifulSoup对象的实例化方式：lxml就是一款解析器
BeautifulSoup(fp,'lxml'):将本地存储的html文档加载到该对象中
BeautifulSoup(page_text,'lxml'):将互联网上获取的html源码加载到该对象中
将本地的test.html文档中相关的数据进行解析
from bs4 import BeautifulSoup
fp = open('./test.html','r',encoding='utf-8')
soup = BeautifulSoup(fp,'lxml')
soup
实现标签的定位
soup.title

soup.div

百里守约

总结： soup.tagName:返回的就是页面中第一次出现的tagName标签（返回的是一个单数） find函数的用法：属性定位 soup.find('tagName',attrName='value') 注意：返回的是单数 soup.find('div',class_='song')

李清照

王安石

苏轼

柳宗元

this is span 宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱 总为浮云能蔽日,长安不见使人愁

soup.find_all('tagName'):定位所有的tagName的标签 soup.find_all('tagName',attrName='value')：属性定位 注意：返回值是列表 soup.find_all('div')

• 清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村
• 秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山
• 岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君
• 杜甫
• 杜牧
• 杜小月
• 度蜜月
• 凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘

select（'选择器'）：根据选择器进行标签定位且返回的是复数（列表） 类选择器，id选择器，标签选择器，层级选择器 层级选择器：>表示一个层级，空格表示多个层级 soup.select('.tang') [

• 清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村
• 秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山
• 岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君
• 杜甫
• 杜牧
• 杜小月
• 度蜜月
• 凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘

] soup.select('.tang > ul > li') [