我要爬取的是 中国当代小说的信息 书名和价格 并保存到本地
1.其实一开始就是想试下
2.对数据分析的时候要确定是 HTML的数据结构还是 json,还是xml
结构化数据：json，xml等
处理方式：直接转化为python类型
非结构化数据：HTML
处理方式：正则表达式、xpath
这里的就是HTML格式的数据 所以用的是xpath 进行解析，筛选我们想要的数据
3.下面试我的分析过程

“”"
分析：
1.数据是HTML类型还是json类型
–html类型
2. 通过xpath调式发现
– （1）取到的数据只有部分
– （2）鼠标往下拖动，有数据的加载（再次发送了请求）

3.一页数据应该有60本书
//div[@class=“gl-i-wrap”]/div[@class=“p-name”]/a[@target="_blank"]/em/text()

4.需要通过js的触发，，滚条的拖动，才能够加载出来全部的页面，获取到60本书的数据
所以在这里要做一个拖动滚动条的操作，下面的步骤3可以看到
5.在拖动滚动条之前页面应该要渲染的差不多了，不然页面没有渲染出来就拖动滚动条就会报错了
所以在拖动滚动条那一步之前加了一个chrome_obj.set_page_load_timeout(5) 延时等待操作，等待五秒之后就继续走下面的代码
一般来说5秒钟的话 页面已经渲染完了，所以也没什么大问题了
6.另外一点值得注意的是：所有的xpath语法都是我自己用Xpath Helper 调试出来的，并非所有的页面都是用这样语法，所以要结合实际
“”"

源代码就是这样的：

1. 导入selenium,导入延时模块
   from selenium import webdriver
   import time

解析lxml
from lxml import etree

页面加载等待的异常处理
from selenium.common.exceptions import TimeoutException

导入json
import json

程序入口
if name == ‘main’:

1.创建浏览器对象

chrome_obj = webdriver.Chrome()

2. 演示的例子是输入京东的：中国当代小说 一共有100个翻页 一个翻页是60本书 ，也就是有100*60 = 6000本书的数据

chrome_obj.set_page_load_timeout(5)
try:
chrome_obj.get('https://list.jd.com/list.html?cat=1713,3258,3297&page=1&sort=sort_totalsales15_desc&trans=1&JL=4_2_0#J_main') # 这个是我要爬取的中国当代小说的url

except:
print("超时了......")

3.进行拖动条的滚动

for i in range(8): # 0~7
time.sleep(0.5)
j =(i+i) *500
js_ = f"document.documentElement.scrollTop={j}"
chrome_obj.execute_script(js_) # 执行滚动条

代码走到这里，已经发送了第二次请求，页面 已经有了60本书

4.获取当前页面的html源代码

str_data = chrome_obj.page_source

5.解析书名

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
在这里插入图片描述

html_obj = etree.HTML(str_data)
title_list = html_obj.xpath('//div[@class="gl-i-wrap"]/div[@class="p-name"]/a[@target="_blank"]/em/text()')
print(title_list)
print(len(title_list))

分隔开 看清楚点

print(''100)

6.解析价格

1
2
3
4
5
6
7
8
在这里插入图片描述

price_list = html_obj.xpath('//strong/i/text()')
print(price_list)
print(len(price_list))

7.保存到本地

with open('京东图书.json','a',encoding='utf-8') as f:
for i in range(len(title_list)):
dict_ = {} # 給它整个空字典 用来放数据
dict_[title_list[i]] = price_list[i]
json_data = json.dumps(dict_,ensure_ascii=False) + ', '
f.write(json_data)

time.sleep(3)

关闭浏览器

chrome_obj.quit()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
“”"
关于进度条的滚动，不建议一次滚动到底，
第一次滚动到500
第二次滚动到1000
第三次滚动到1500
一直往下滚动到底
“”"
运行结果如下：
在这里插入图片描述