XPath是一种在XML文档中查找信息的语言,使用路径表达式在XML文档中进行导航。学习XPath需要对XML和HTML有基本的了解。
在XPath中,有七种类型的节点:文档(根)节点、元素、属性、文本、命名空间、处理指令、注释,XML 文档是被作为节点树来对待的,树的根被称为文档节点或者根节点。
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <!--bookstore为根节点--> <book> <!--book为元素节点--> <title lang="en">Harry Potter</title> <!--lang="en"为属性节点--> <author>J K. Rowling</author> <!--K. Rowling为文本节点--> <year>2005</year> <price>29.99</price> </book> <book category="COOKING"> <title lang="en">Everyday Italian</title> <author>Giada De Laurentiis</author> <year>2005</year> <price>30.00</price> </book> </bookstore>
requests基本用法
使用requests可获取网页的源代码,需要先安装这个模块pip3 install requests
import requests
req = requests.get(url) #req为<Response [200]>,req.text为整个网页源代码
XPath的基本使用方法:
要使用XPath,需要安装一个第三方库lxml,直接在cmd命令窗口中通过pip3 install lxml即可。
from lxml import etree #导入lxml模块的etree
selector = etree.HTML(源码) #将源码转化为能被XPath匹配的格式
info1 = selector.xpath("//标签1[@属性1='值1']/标签2[@属性2='值2']/.../标签n[@属性n='值n'] ") #返回匹配到的元素节点,类型为列表
info2 = selector.xpath("//标签1[@属性1='值1']/标签2[@属性2='值2']/.../text()") #返回匹配到的元素节点的文本值,类型为列表
info3 = selector.xpath("//标签1[@属性1='值1']/标签2[@属性2='值2']/.../@属性x") #返回匹配到的元素节点的x属性值,类型为列表
基本节点选取方式
通过nodename选取返回的列表的每一个元素为元素节点,类型为class 'lxml.etree._Element'对象,最后一个元素名称不能再加/否则会报错。
text()和@attrname则可以直接获取到元素节点的文本值和属性值。
selector = etree.HTML(source) #source为上述bookstore所在的整个代码块 title_ele = selector.xpath('//book/title') #返回title元素节点对象 title_text = selector.xpath('//book/title/text()') #返回title元素节点的文本 title_attr = selector.xpath('//book/title/@lang') #返回title元素节点的lang属性值 print(title_ele[0],type(title_ele[0])) print(title_text[0],type(title_text[0])) print(title_attr[0],type(title_attr[0])) # <Element title at 0x298d540ffc8> <class 'lxml.etree._Element'> # Harry Potter <class 'lxml.etree._ElementUnicodeResult'> # en <class 'lxml.etree._ElementUnicodeResult'>
获取元素的文本值,除了在匹配规则中直接通过/text(),也可以获取到元素对象再通过对象.text来获取,以下两种方式等价。
title1 = selector.xpath('//book/title/text()') title2 =list( map(lambda x:x.text,selector.xpath('//book/title') ) )
除了上述基本的选取方法之外,还可以按条件进行选取,条件都放在节点名称的方括号[ ]内
限定位置选取
i1 = selector.xpath('//book[1]/title/text()') #book元素的第一个元素(注意不是从0开始) i2 = selector.xpath('//book[last()]/title/text()') #book元素的最后一个元素 i3 = selector.xpath('//book[last()-1]/title/text()') #book元素的倒数第二个元素 i4 = selector.xpath('//book[position()<3]/title/text()') #book元素的前2个元素
限定属性选取,属性前面需加@标识
i5 = selector.xpath('//book[@class="story"]/title/text()') #class属性为story的book元素 i6 = selector.xpath('//book[@category="COOKING"]/title/text()') #category属性为COOKING的book元素 i7 = selector.xpath('//book[@category]/title/text()') #有category属性的book元素 i8 = selector.xpath('//book[starts-with(@category,"ch")]/title/text()') #category属性以ch开头的book元素,没有ends-with方法 i9 = selector.xpath('//book[contains(@category,"oo")]/title/text()') #category属性包含oo的book元素
限定文本值选取
i10 = selector.xpath('//book[price>30]/title/text()') #price的文本值大于30的book元素 i11 = selector.xpath('//book[contains(title,"day")]/title/text()') #title的文本值包含day的book元素
| 同时按多个匹配规则进行选取
i12 = selecotr.xpath('//book/title/text() | //book/@category') #同时获取book元素的title元素文本值和category属性值
通配符 *
i13 = selector.xpath('//book/*') #book元素下的所有直接子元素 i14 = selector.xpath('//book/title[@+]') #book元素下有属性的title元素