一、爬虫的定义、爬虫的分类（通用爬虫、聚焦爬虫）、爬虫应用场景、爬虫工作原理（最后会发一个完整爬虫代码）
二、http、https的介绍、url的形式、请求方法、响应状态码
url的形式：
请求头：
常见响应状态码（可利用响应状态码判断响应状态assert response.status_code == 200）：
三、数据请求，获取响应（requests模块，详细使用方法api文档）
中文文档api：http://docs.python-requests.org/zh_CN/latest/index.html
发送请求格式：requests.get(url,headers=headers,timeout=5) #get方式
requests.post("http://www.baidu.com/", data = data,headers=headers) #post大文本传输，不限制长度，post更安全，data参数为字典
session = requests.session() session.get(url,headers)
cookies与session应用：cookies保存在浏览器端、session保存在服务端，利用session类保持会话连接请求页面，但缺点不能请求多、快容易被识别
四、数据提取与分类（json模块、lxml的etree模块）
通常响应数据分为结构化数据与非结构化数据，结构化数据为json格式等，非结构化数据为html页面等
结构化数据多为json格式，利用浏览器抓包工具，找到对应响应的Json字符串，在转化为python数据类型（字典）
非结构化数据多为html页面直接抓取，利用xpath节点选择，抓取对应数据（需掌握xpath元素定位、配合工具Chrome插件 XPath Helper）
五、数据的保存
利用mongodb数据库来存爬取的数据（安装与部署请见mongodb的安装与配置）或直接write保存到本地
五、糗事百科html数据提取与保存代码
import requests
from lxml import etree
from pymongo import MongoClient
client = MongoClient("127.0.0.1",27017)
collection = client["duanzi"]["qiubai"]
def get_url_list(): # 1.url的规律，构造一堆url出来
url_list = []
url_temp = "https://www.qiushibaike.com/8hr/page/{}/"
for i in range(1, 14):
url = url_temp.format(i)
url_list.append(url)
return url_list
def parse_url(url):
headers = {
"User-Agnet": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"}
r = requests.get(url, headers=headers, timeout=5)
hmtl_str = r.content.decode()
html = etree.HTML(hmtl_str) # 使用etree处理，得到elemnet对象，能够使用xpath方法
return html
def get_content_list(html): # 3.提取数据
div_list = html.xpath("//div[@id='content-left']/div")
content_list = []
for div in div_list:
item = {}
item["author_img"] = div.xpath("./div[@class='author clearfix']//img/@src")
if len(item["author_img"]) > 0: # 获取用户的图像图片
item["author_img"] = "https:" + item["author_img"][0]
else:
item["author_img"] = None
item["author_name"] = div.xpath("./div[@class='author clearfix']//h2/text()")
if len(item["author_name"]) > 0: # 获取用户名字
item["author_name"] = item["author_name"][0].strip()
else:
item["author_name"] = None
# 获取性别
item["author_gender"] = div.xpath("./div[@class='author clearfix']/div/@class")
if len(item["author_gender"]) > 0:
item["author_gender"] = item["author_gender"][0].split(" ")[-1].replace("Icon", "")
else:
item["author_gender"] = None
# 获取年龄
item["author_age"] = div.xpath("./div[@class='author clearfix']/div/text()")
if len(item["author_age"]) > 0:
item["author_age"] = item["author_age"][0]
else:
item["author_age"] = None
#获取段子的正文
item["content"] = div.xpath(".//div[@class='content']/span/text()")
item["content"] = [i.strip() for i in item["content"]]
#提取点赞的的数量
item["stats_vote"] = div.xpath(".//span[@class='stats-vote']/i/text()")
if len(item["stats_vote"])>0:
item["stats_vote"] = item["stats_vote"][0]
else:
item["stats_vote"] = None
#提取评论数量
item["stats_comments"] = div.xpath(".//span[@class='stats-comments']//i/text()")
if len(item["stats_comments"])>0:
item["stats_comments"] = item["stats_comments"][0]
else:
item["stats_comments"] = None
#提取正文中的文中的图片
item["content_img"] = div.xpath("./div[@class='thumb']//img/@src")
if len(item["content_img"])>0:
item["content_img"] = "https:"+item["content_img"][0]
else:
item["content_img"] = None
content_list.append(item)
return content_list
def save_content_list(content_list): #保存
for content in content_list:
print(content)
collection.insert(content)
print("*"*100)
def run():
# 1.url的规律，构造一堆url出来
url_list = get_url_list()
# 2.遍历url_list，发送请求，获取响应
for url in url_list:
html = parse_url(url)
# 3.提取数据
content_list = get_content_list(html)
# 4.保存
save_content_list(content_list)
if __name__ == '__main__':
run()