目录
常用的解析语法
解析库：pyquery、re、bs4、lxml
在这里介绍的是 requests-html 库
CSS选择器
- 类选择器：.类名
- id选择器：#id值
- 标签选择器：标签名
- 后代选择器：选择器1 选择器2
- 子选择器：选择器1>选择器2
- 属性选择器：
- [属性名]
- [属性名=属性值]
- [属性名^=属性值]：开头
- [属性名$=属性值]：结尾
- [属性名*=属性值]：包含
- 群组选择器：选择器1,选择器2 相当于or
- 多条件选择器：选择器1选择器2 相当于and
requests-html库
安装：pip install requests-html
使用：
请求：参数和requests模块一模一样
from requests-html import HTMLSession
session = HTMLSession() # 会自动保存cookie
响应对象 = session.request(......)
响应对象 = session.get(......)
响应对象 = session.post(......)
响应：属性和requests模块一模一样，关键多了个html属性
r.url
r.html
1. html对象属性
r.html.absolute_links # 所有的路径都会转成绝对路径返回
r.html.links # 返回原样路径,如果是相对路径就是相对路径，如果是绝对路径返回就是绝对路径
r.html.base_url # 如果html有base标签，返回base标签路径；没有返回请求url
r.html.html # 相当于r.text,返回的是页面文本信息
r.html.encoding = 'gbk' # 控制解码格式
r.html.text # 获得页面所有文本，标签内的值。js代码也会被拉出来
r.html.raw_html # 相当于r.content
r.pq # <class 'pyquery.pyquery.PyQuery'>对象，想用PyQuery时用
2. html对象方法
r.html.find('CSS选择器') # 查找，返回的是 [element对象1，element对象2，...]
r.html.find('CSS选择器',first=True) # 只找第一个，返回的是 element对象
r.html.xpath('xpath选择器')
r.html.xpath('‘xpath选择器'，first = True)
r.html.search('模板') # 只找第一个，返回的是 result对象
r.html.search('<dt><a href="{}">{}</a></dt>') --> <Result ('/', '首页') {}>
r.html.search('<dt><a href="{}">{}</a></dt>')[1] --> 首页
r.html.search('<dt><a href="{src}">{name}</a></dt>')['src'] --> /
r.html.search_all('模板') # 返回的是 [result对象1，result对象2...]
r.html.search_all('<dt><a>{}</a></dt>') --> [<Result ('分类',) {}>, <Result ('秒懂百科',) {}>, <Result ('特色百科',) {}>, <Result ('用户',) {}>, <Result ('权威合作',) {}>]
# 可以通过for循环遍历获取
for i in r.html.search_all('<dt><a>{name}</a></dt>'):
print(i['name'])
r.html.render() # 调用浏览器内核，对页面进行渲染得到新的结果替换 r.html.html = 渲染后html文本
3. Element对象及属性
ele = r.html.find('CSS选择器',first=True) # 返回的Element对象
ele.absolute_links # 绝对路径
ele.links # 相对路径
ele.text # 文本信息
ele.html # 带标签的文本信息
ele.attrs # 属性
ele.find('CSS选择器') # 继续往下找，返回的Element对象
ele.search('模板') # 返回result对象
ele.search_all('模板') # 返回[result对象1,result对象2,...]
4. r.html.render()参数
script = """
()=>{
return document.charset
}
"""
scrolldown:n # 往下翻几页
sleep:n # 渲染完后睡几秒，如果与scolldown一起使用时，表示隔几秒翻一页
keep_page:True/False # 允许通过r.html.page与浏览器交互，阻止关闭浏览器
**参数：改浏览器参数**
session = HTMLSession(
brower_args = [
'--no-sand', # 以最高权限运行浏览器
'--user-agent=XXXX' # 设置浏览器请求头的语法
],headless = False # 修改无头浏览器，这里需要修改源码
)
"""修改源码：
1.点HTMLSession进去，在BaseSession的__init__方法中加个参数 headless = True
2.在__init__函数中加上self.__headless = headless
3.在 async def browser方法中self._browser = (...)中的 "headless=True" 改成 "headless=self.__headless"
"""
# 示例：
script = """
()=>{
var a = document.querySelector('#query')
var b = a.getBoundingClientRect()
return {'x':b.x,'y':b.y}
}
"""
print(r.html.render(script=script,))
# 绕过网站对webdriver的检测
from requests_html import HTMLSession
session = HTMLSession(
browser_args=[
'--no-sand',
'--user-agent=XXXX'
], headless=False
)
url = 'https://baike.baidu.com/item/海康威视/6048387?fr=aladdin'
r = session.request(method='get', url=url)
# 绕过网站对webdriver的检测，如果不设置navigator.webdriver为true,而浏览器为undefined
script ="""
()=>{
Object.defineProperties(navigator,{
webdriver:{
get:()=>undefined
}
})
}
"""
url = 'http://jd.com'
r = session.get(url=url)
r.html.render(script=script,sleep=10)
5. 与浏览器交互 r.html.page.XXX
from requests_html import HTMLSession
session = HTMLSession(
browser_args=[
'--no-sand',
'--user-agent=XXX'
], headless=False
)
url = 'http://www.baidu.com'
r = session.get(url=url)
script = """
()=>{
Object.defineProperties(navigator,{
webdriver:{
get:()=>undefined
}
})
}
"""
r.html.render(keep_page=True, sleep=5)
# 定义异步函数执行
async def run():
my_dic = await r.html.page.evaluate('''
() =>{
var a = document.querySelector('#kw')
var b = a.getBoundingClientRect()
return {'x':b.x,'y':b.y,'width':b.width,'height':b.height}
}''') # 执行js代码
print(my_dic)
await r.html.page.screenshot({
'path': '1.png',
# 'clip': {'x': 100, 'y': 100, 'width': 100, 'height': 100}
'clip':my_dic
}) # 截图，await表示等待结束;path表示保存路径;clip截图位置和大小，四个参数缺一不可
await r.html.page.cookies() # 获取cookie
await r.html.page.type('#kw','程序员',{'delay':1000}) # 填写内容，第一个参数是选择器，第二个是内容，delay表示输入字符的时间间隔
await r.html.page.click('[class="soutu-btn"]',{'button':'left','clickCount':1,'delay':0}) # 点击事件，left表示左键;clickCount表示点击的次数,delay表示点击时间间隔
await r.html.page.waitFor(1000) # 睡几秒.以毫秒为单位
await r.html.page.hover("li[class='category-item']") # 悬浮，括号内写CSS选择器
await r.html.page.focus('#login_field') # 聚焦,参数是CSS选择我器
await r.html.page.waitForSelector('css选择器') # 等待选择器加载完成
try:
session.loop.run_until_complete(run()) # 执行异步函数
finally:
session.close()
6. 键盘事件 r.html.page.keyboard.XXX
r.html.page.keyboard.down('Shift') # 按下键
r.html.page.keyboard.up('Shift') # 抬起键
r.html.page.keyboard.press('ArrowLeft') # 按下抬起
r.html.page.keyboard.type('喜欢你啊',{'delay':100}) # 输入内容，delay为每个字符的时间间隔
7. 鼠标事件 r.html.page.mouse.XXX
r.html.page.mouse.click(x,y,{
'button'：'left',
'click':1
'delay':0
}) # 鼠标点击
r.html.page.mouse.down({'button'：'left'}) # 鼠标按下
r.html.page.mouse.up({'button'：'left'}) # 鼠标抬起
r.html.page.mouse.move(x,y,{'steps'：1}) # 鼠标移动，从当前位置移动x,y。steps表示移动的步数