#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2018-06-15 14:01:45 # @Author : Chenjun (320316430@qq.com;) # @Link : http://example.org # @Version : $Id$ from pyquery import PyQuery as pq URL = 'http://xidong.net/File001/File_25266.html'def get_resource_lis(URL): doc = pq(url=URL, encoding='utf-8') #响应头部没有声明编码类型,需要手动说明,否则抓到的数据会中文乱码 datas = doc('tr') #通过网页检查发现资源放在表格的tr中 resource_lis = datas.items() return resource_lis def main(): resource_lis = get_resource_lis(URL) for source in resource_lis: print(source.find('a').attr('href')) #取到每个tr中的a标签的href属性值,也就是我需要的地址
if __name__ == '__main__': main()
#后续可以存储到非关系型数据库中