python之pyquery 学习

pyquery是jQuery的Python实现，可以用以解析HTML网页的内容。官网文档：http://pythonhosted.org/pyquery/

下载：https://pypi.python.org/pypi/pyquery#downloads

测试了一下其功能如下：

以http://www.verycd.com/topics/2960375/的网页源码为例：

提取originLink的图片链接地址：

#!/usr/bin/python
from pyquery import PyQuery as pyq

doc=pyq(url='http://www.verycd.com/topics/2960375/')
for item in doc('span.post_origin_img'):
  print doc(item).attr('originlink')

执行结果：

注1：因为在span标签内，并且有class=”post_origin_img” 所以可以通过span.post_origin_img定位到标签。然后该图片对应的是originLink，所以可以对对应的item取其属性为originLink的值。

注2：这里使用的originlink而不是originLink，是因为测试时，

for item in doc('span.post_origin_img'):
  print doc(item)
  print doc(item).attr('originlink')

测试结果：看出其priginlink为小写。原因暂不详。

a title="PDF[2013/08/12 04:33:25]资源更新 共1个文件 42.2MB" href="/topics/2960275/" onclick="VeryCD.Track('/stat/topicsHot/');" target="_blank">《金庸全集-三联典藏版》高清文字版[PDF]</a>                        </dd>
                                                                                            <dd class="itshot">
                        <a id="entry_link_2960032" title="PDF[2013/08/11 05:18:31]资源更新 共1个文件 882.31KB" href="/topics/2960032/" onclick="VeryCD.Track('/stat/topicsHot/');" target="_blank" style="text-decoration:none;"><img load-src="http://i-7.vcimg.com/crop/7640b510631463a87309ad475a2505c328619(100x100)/thumb.jpg" alt="img" class="hot_img" height="100" width="100" style="display:inline;">
                        <div id="entry_2960032" style="display:none;" class="entry_score_small"></div>
                        </a>
                        <br />
                        <a title="PDF[2013/08/11 05:18:31]资源更新 共1个文件 882.31KB" href="/topics/2960032/" onclick="VeryCD.Track('/stat/topicsHot/');" target="_blank">《灵魂21克》文字版[PDF]</a>                        </dd>
                                                                                            <dd class="itshot">
                        <a id="entry_link_2861322" title="EPUB[2011/07/10 02:06:05]资源更新 共47个文件 1.35GB" href="/topics/2861322/" onclick="VeryCD.Track('/stat/topicsHot/');" target="_blank" style="text-decoration:none;"><img load-src="http://i-7.vcimg.com/crop/349a7faf7ed72283e92b9b071678f6d1155641(100x100)/thumb.jpg" alt="img" class="hot_img" height="100" width="100" style="display:inline;">
                        <div id="entry_2861322" style="display:none;" class="entry_score_small"></div>
                        </a>

可以根据id抽取内容，使用#id名字即可：实例如下：

#!/usr/bin/python
from pyquery import PyQuery as pyq

doc=pyq(url='http://www.verycd.com/topics/2960375/')
for item in doc('#entry_link_2861322'):
  print doc(item)

执行结果：抽取了id为entry_link_2861322的html

自己构造测试

doc=pyq('<;p id="test" class="test1" attr1="attr1_value">hello</p>')
print doc('p')
print doc('p#test')
print doc('p#test.test1')
print doc('p#test.test1').attr('attr1')

执行结果：

结果上面的测试，我们看以看到使用pyquery，我们可以指定html的tag来抽取，是十分方便的。