Scrapy:学习笔记(1)——XPath
1、快速开始
XPath是一种可以快速在HTML文档中选择并抽取元素、属性和文本的方法。
在Chrome，打开开发者工具，可以使用$x工具函数来使用XPath来选择元素，比如选中所有的超链接。
1.1、XPath的基本格式
XPath通过"路径表达式"（Path Expression）来选择节点。
在形式上，"路径表达式"与传统的文件系统非常类似。
比如我们依次获得Html节点（即最根节点）、Html下的Body节点、Html下的Body下的所有Div节点。
单斜杠与双斜杠：
在这里我们使用了单斜杠（/）作为最开始的元素，表示从根节点选取。如果我不想每次都从HTML元素出发，想直接取到Body元素，可以使用双斜杠（//），它表示直接命中待选择元素，而不考虑位置，如//body可以直接取到Body元素。
获取到节点的属性，可以使用@符号
[例1]
//h1/a/@id ：获取所有h1元素直接子元素a的id属性。
获取节点的文本，使用text()函数
[例1]
//h1/a/text()：获取所有h1元素直接子元素a的文本内容。
1.2、XPath的基本实例
我们以一个简易的类HTML文档，来进行实例分析。
<bookstore>
<book>
<title lang="eng">Harry Potter</title>
<price>29.99</price>
</book>
<book>
<title lang="eng">Learning XML</title>
<price>39.95</price>
</book>
</bookstore>
[例1]
bookstore ：选取 bookstore 元素的所有子节点。
[例2]
/bookstore ：选取根节点bookstore，这是绝对路径写法。
[例3]
bookstore/book ：选取所有属于 bookstore 的子元素的 book元素，这是相对路径写法。
[例4]
//book ：选择所有 book 子元素，而不管它们在文档中的位置。
[例5]
bookstore//book ：选择所有属于 bookstore 元素的后代的 book 元素，而不管它们位于 bookstore 之下的什么位置。
[例6]
//@lang ：选取所有名为 lang 的属性。
2、XPath的谓语条件
谓语用来在查询的时候设置条件，来达到筛选的效果。
2.1、设置返回的节点数量
2.2、根据节点的属性或属性值来返回节点
[例1]
//div[@class] ：选择文档中的所有拥有class属性的div节点。
[例2]
//div[@class='postTitle']：选择文档中的所有拥有class属性且值为postTitle的div节点。
2.3、根据节点是否有特点子元素来返回节点
[例1]
//div[a] ：选择文档中的所有拥有a子元素的div节点。
3、XPath的通配符
"*"表示匹配任何元素节点。"@*"表示匹配任何属性值。node()表示匹配任何类型的节点。
[例1]
//* ：选择文档中的所有元素节点。
[例2]
/*/* ：表示选择所有第二层的元素节点。
[例3]
/HTML/* ：表示选择HTML的所有元素子节点。
[例4]
//title[@*] ：表示选择所有带有属性的title元素。
[例5]
//book/title | //book/price ：表示同时选择book元素的title子元素和price子元素。