-
中文文档
-
官方教学网页源码：
<html>
<head>
<title>Page title</title>
</head>
<body>
<p id="firstpara" align="center">
This is paragraph<b>one</b>.
</p>
<p id="secondpara" align="blah">
This is paragraph<b>two</b>.
</p>
</body>
</html>
-
find方法的参数及意义
find(name=None, attrs={}, recursive=True, text=None, **kwargs)
1,按照tag(标签)搜索：
1 find(tagname) # 直接搜索名为tagname的tag 如：find('head') 2 find(list) # 搜索在list中的tag，如: find(['head', 'body']) 3 find(dict) # 搜索在dict中的tag，如:find({'head':True, 'body':True}) 4 find(re.compile('')) # 搜索符合正则的tag, 如:find(re.compile('^p')) 搜索以p开头的tag 5 find(lambda) # 搜索函数返回结果为true的tag, 如:find(lambda name: if len(name) == 1) 搜索长度为1的tag 6 find(True) # 搜索所有tag
2,按照attrs(属性)搜索:
1 find('id'='xxx') # 寻找id属性为xxx的
2 find(attrs={'id':re.compile('xxx'), 'algin':'xxx'}) # 寻找id属性符合正则且algin属性为xxx的
3 find(attrs={'id':True, 'algin':None}) # 寻找有id属性但是没有algin属性的
-
利用BeautifulSoup4爬取豆瓣数据的ID
代码如下：
import requests from bs4 import BeautifulSoup as bs #以豆瓣‘编程’分类的一个连接URL为例子开始爬数据ID url = 'https://book.douban.com/tag/编程?start=20&type=T' res = requests.get(url) #发送请求 #print(res.encoding) #这个是用来查看网页编码的 #res.encoding = 'utf-8' #跟上一个结合来用，如果编码有乱码，则可以通过这个定义编码来改变 html = res.text #print(html) IDs = [] soup = bs(html,"html.parser") #定义一个BeautifulSoup变量 items = soup.find_all('a',attrs={'class':'nbg'}) #print(items) for i in items: idl = i.get('href') #print(idl) id = idl.split('/')[4] print(id) IDs.append(id) print('这一页收集到书籍ID数：%d' % len(IDs))
- 第一部分是获取网页源代码的过程，使用requests模块
- 第二部分为使用BeautifulSoup来解析网页，得到需要的信息
-
soup = bs(html,"html.parser")
这句的意思是声明一个变量，用BeautifulSoup处理之后的原网页代码
-
items = soup.find_all('a',attrs={'class':'nbg'})
这句的作用是查找a标签，当然，a标签会有很多，但是我们不需要所有，因此我们还需要判断一下这种a标签还有个属性是class='nbg'，我们只需要这种a标签。items得到的是一个list
- 属性都放着attrs这个字典中，当某个属性的值不是定值的时候，可以使用 '属性名':True 这种方式。
-
for i in items: idl = i.get('href')
这句的意思是获取满足条件的每个a标签中属性‘href’的值
-
id = idl.split('/')[4]
由于‘href’的属性是一个连接，但是我们只需要得到ID，所有可以将连接按照‘/’分解，提取ID
-
-
具体的爬虫例子可以参照：智联招聘爬虫
-
Beautifulsoup的select选择器方法可以参考爬虫例子：前程无忧爬虫