BeautifulSoup

参考：http://www.freebuf.com/news/special/96763.html

相关资料：http://www.jb51.net/article/65287.htm

1、Python3 win7安装BeautifulSoup

BeautifulSoup中文文档：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html

BeautifulSoup下载：http://www.crummy.com/software/BeautifulSoup/

解压，运行cmd执行：python setup.py install即可

2、导入beatifulsoup库 ：from bs4 import BeautifulSoup

传入数据，建立对象： soup = BeautifulSoup(data)，

操作soup，完成需求解析。

 3、示例代码：

from bs4 import BeautifulSoup
from urllib import request
import re

web = request.urlopen('http://www.freebuf.com')
# 没有特别指明解析器，bs4使用了它认为最好的解析器,但是在不同的环境下运行，可能解析器是不一样的。
# 如果没有'html.parser'，会有warning提示，表明了bs4的自动选择解析器来解析的特性。
soup = BeautifulSoup(web.read(),'html.parser')
tags_a = soup.find_all(name='a', attrs={'href': re.compile('^https?://')})

for tag_a in tags_a:
    print(tag_a['href'])

4、利用BeautifulSoup获取网站的sitemap:

# coding:utf-8
# 获取整个网站的sitemap

import urllib.request
import urllib.error
from urllib.parse import urlparse
from bs4 import BeautifulSoup
import time
import datetime

url = input('请输入扫描的url:')
domain = input('请输入包含的域名：')
sites = set()


# 获取一个页面的所有url
def get_local_pages(url, domain):
    pages = set()
    global sites
    repeat_time = 0

    # 解析传入的url为后面相对路径拼接用
    parse_url = urlparse(url)

    # 防止url读取卡住：自动重读5次
    while True:
        try:
            print('Ready to Open the web!')
            time.sleep(1)
            print('Opening the web : %s' % url)
            web = urllib.request.urlopen(url=url, timeout=20)
            print('Success to Open the web!')
            break
        except urllib.error.URLError as e:
            print('Open Url Error:',e)
            print('Open url Failed!!!Repeat!')
            time.sleep(1)
            repeat_time += 1
            if repeat_time == 5:
                return

    soup = BeautifulSoup(web.read())
    tags = soup.find_all(name='a')

    for tag in tags:
        # 避免参数传递异常
        try:
            ret = tag['href']
        except:
            print('Maybe not the attr : href')
            continue

        parse_page = urlparse(ret)

        # 1 url不为空（协议，域名，路径）
        if parse_page[0] is '' and parse_page[1] is '' and parse_page[2] is '':
            print('Bad Page(协议域名路径均为空):%s' % ret)
            continue

        # 2 协议不为空，判断合法性
        if parse_page[0] is not '' and 'http' not in parse_page[0]:
            print('Bad Page(协议不合法,非http):%s' % ret)
            continue

        # 3 域名不为空，domain要包含在域名中
        if parse_page[1] is not '' and domain not in parse_page[1]:
            print('Bad Page(域名不合法,非%s):%s' % (domain, ret))
            continue

        # 4 协议为空，域名不为空(拼接ret),例如：//caipiao.taobao.com
        if parse_page[0] is '' and parse_page[1] is not '':
            print('Fix page(仅域名存在): %s' % ret)
            newpage = parse_url[0] + ':' + ret
            if newpage not in sites:
                print('Add Fix Page(拼接域名):%s' % newpage)
                pages.add(newpage)
            continue

        # 5 协议域名为空，路径不为空(拼接ret)
        if parse_page[0] is '' and parse_page[1] is '':
            print('Fix page(仅路径存在): %s' % ret)
            temp_page = parse_url[0] + '://' + parse_url[1] + '/' + ret
            # 保持URL的干净
            newpage = temp_page[:8] + temp_page[8:].replace('//', '/')
            if newpage not in sites:
                print('Add Fix Page(拼接路径):%s' % newpage)
                pages.add(newpage)
            continue

        # 整理输出
        newpage = ret
        if newpage not in sites:
            print('Add New Page:%s' % newpage)
            pages.add(newpage)

    return pages


# dfs 算法遍历全站(目前中小型网站可用，待完善)
def dfs(pages, domain):
    global sites
    if pages in sites:
        return 'Success!'

    # visited = set()
    # sites = set.union(sites,pages)
    for page in pages:
        if page not in sites:
            sites.add(page)
            get_pages = get_local_pages(page, domain)
            dfs(get_pages, domain)
    return

t1 = datetime.datetime.now()
pages = get_local_pages(url, domain)
dfs(pages,domain)
text_name = domain + '全站扫描.txt'
with open(text_name, 'a') as f:
    f.write('
' + str(datetime.datetime.now()) + '
')
for i in sites:
    with open(text_name, 'a') as f:
        f.write(i + '
')

with open(text_name, 'a') as f:
    f.write('
用时：' + str(datetime.datetime.now() - t1) + '
')

sitemap

5、基本知识点

Bs4的基本api的使用，关于beautifulSoup的基本使用方法，我这里需要介绍在下面的脚本中我使用到的方法：

Soup = BeautifulSoup(data) #构建一个解析器

Tags = Soup.findAll(name,attr)


我们重点要讲findAll方法的两个参数：name和attr

Name：  指的是标签名，传入一个标签名的名称就可以返回所有固定名称的标签名

Attr：     是一个字典存储需要查找的标签参数，返回对应的标签

Tag.children      表示获取tag标签的所有子标签

Tag.string       表示获取tag标签内的所有字符串，不用一层一层索引下去寻找字符串

Tag.attrs[key]    表示获取tag标签内参数的键值对键为key的值

Tag.img         表示获取tag标签的标签名为img的自标签（一个）

6、利用BeautifulSoup获取58页面的指定信息（python2.7）

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib
import urllib2
from bs4 import BeautifulSoup

url = 'http://ny.58.com/zufang/24584108096437x.shtml?qq-pf-to=pcqq.c2c'

# rq = urllib2.Request(url)
# print rq
rp = urllib.urlopen(url)
html = rp.read()
soup = BeautifulSoup(html)

# 获取标题
title = soup.find_all(name='h1', attrs={'class': 'main-title font-heiti'})
for data in title:
    data_title = data.get_text()
    print data_title

# 获取租金
primary = soup.find_all(name='em', attrs={'class': 'house-price'})
for data in primary:
    data_primary = data.get_text()
    print data_primary

# 获取房屋
house_type = soup.find_all(name='div', attrs={'class': 'fl house-type c70'})
for data in house_type:
    temp_type = data.get_text().replace('-', ' ')
    temp_type = ' '.join(temp_type.split())
    print temp_type
    # data_type_list = []
    # for d in temp_type:
    #     data_type_list.append(d)
    # print data_type_list


# 获取小区
xiaoqu = soup.find_all(name='div', attrs={'class': 'fl xiaoqu c70'})
for data in xiaoqu:
    data_xiaoqu = data.get_text().strip()
    print data_xiaoqu

# 获取配置
config = soup.find_all(name='li', attrs={'class': 'house-primary-content-li clearfix person-config'})
for data in config:
    data_config = data.div.get_text().replace('-',' ')
    data_config = ' '.join(data_config.split())
    print data_config

# 获取联系人
contact = soup.find_all(name='li', attrs={'class': 'house-primary-content-li clearfix person-contact'})
for data in contact:
    data_contact = data.div.span.get_text()
    print data_contact


# 写入文件
# with open('58_test1.txt','w') as f:
#     f.write('标题：'+data_title.decode('gbk'))
#     f.write('租金：' + data_primary)