【Python实例二】BeautifulSoup爬虫简单实践

前言

前面安装了BeautifulSoup库，现在就来实现一下吧。

目录

一、Urllib库的使用

二、BeautifulSoup的使用

三、 一个示例

------------------------------------------------------------------------------------------------------------

正文

一、Urllib库的使用

看了一些简单爬虫的资料，都用到了Urllib库，想必这也是与web爬取数据的基础，因此先去看了看Urllib库的相关内容。

按我自己的理解，爬取网页的内容其实就是先把页面的信息先通过Urllib库抓取到本地，然后再通过BeautifulSoup库来精细划分抓取得到的页面内容数据。

使用Urllib库的最基本方法其实就三行代码（如下）：

# -*- coding: utf-8 -*-
import urllib

res = urllib.urlopen("http://www.baidu.com")
print res.read()

具体解释：

• urllib库一般安装完Python后就自带在其安装包里面了，所以直接使用"import urllib"语句就能直接使用了；
• urllib.urlopen(url[, data[, proxies]]) :创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。

      （参数url表示远程数据的路径，一般是网址；参数data表示以post方式提交到url的数据）

• urlopen()返回 一个类文件对象（此处用res来获取该对象），它提供了如下方法：read() , readline() , readlines() , fileno() , close()
• res.read()返回获取到的网页内容

最后输出的内容如下所示（相当于查看网页源码看到的内容）

二、BeautifulSoup的使用

 在用Urllib库从网页上得到了网页数据后，就要开始使用BeautifulSoup了。

1. 首先创构造一个BeautifulSoup对象

下面有一些最简单的例子：

（1）通过字符串创建BeautifulSoup对象

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
helloworld = '<p>Hello World</p>'
soup_string = BeautifulSoup(helloworld, "html.parser")
print soup_string 

结果：

（2）通过类文件对象创建BeautifulSoup对象

# -*- coding: utf-8 -*-
import urllib
from bs4 import BeautifulSoup

url = "http://www.baidu.com"
page = urllib.urlopen(url)
soup = BeautifulSoup(page，"html.parser")
print soup

因为前面说的Urllib库用urlopen()返回的就是一个类文件对象，所以这里的结果和之前Urllib中对象调用read()得到的结果是一样的。

（3）通过本地文件对象创建BeautifulSoup对象

# -*- coding: utf-8 -*-
import urllib
from bs4 import BeautifulSoup

with open('index.html','r') as foo_file :
    soup_foo = BeautifulSoup(foo_file, "html.parser")
print soup_foo

【注意】以上的三种方法创建BeautifulSoup对象使用的语句是：BeautifulSoup(urllib库对象名, "html.parser")，其中标红的部分"html.parser"是我时间之后发现要加的，很多教程里面是直接使用 BeautifulSoup(urllib库对象名)来创建，但是我运行的时候会有一个warning：

于是就按照提示上说的，加上了"html.parser"，运行之后果然正常了，所以如果你也遇到一样的问题，就还是加上它吧:)

2.使用BeautifulSoup库的 find()和findAll()函数

在构造好BeautifulSoup对象后，借助find()和findAll()这两个函数，可以通过标签的不同属性轻松地把繁多的html内容过滤为你所想要的。

这两个函数的使用很灵活，可以： 通过tag的id属性搜索标签、通过tag的class属性搜索标签、通过字典的形式搜索标签内容返回的为一个列表、通过正则表达式匹配搜索等等

基本使用格式：

pid = soup.find(attrs={"id":"aa"})

pid = soup.findAll('a',{'class':'sister'})

三. 一个示例

这个示例是我在查找资料的时候看到的，按照代码运行得出来，理解起来也简单，因此就借鉴一下

（原文地址：http://www.cnblogs.com/hearzeus/p/5151449.html）

下面是代码和效果：

# -*- coding: utf-8 -*-
import urllib
from bs4 import BeautifulSoup

res = urllib.urlopen("http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/?focus=book")
soup = BeautifulSoup(res,"html.parser")
book_div = soup.find(attrs={"id":"book"})
book_a = book_div.findAll(attrs={"class":"title"})
for book in book_a:
    print book.string