Python爬虫爬取深大信息工程学院老师个人介绍网址小实例

#-*-coding:utf-8-*-

import requests

from bs4 import BeautifulSoup

r = requests.get ('http://cie.szu.edu.cn/szucie/index.php/category/jsfc/')

#返回的'r'是一个包含了整个HTTP协议需要的各种各样东西的对象

html = r.content

#获取网页源代码

soup = BeautifulSoup (html , 'html.parser') #html.parser是解析器

#下面根据我们看到的网页提取。首先提取这部分代码的第一行，先定位到这部分代码：

div_people_list = soup.find ('div' , attrs = {'class' : 'col-mb-12 col-8 detail'})

#这里使用了BeautifulSoup对象的find方法，这个方法的意思是找到带有'div'这个标签并且参数包含"class = 'people_list'"的代码。如果有多个的话，find方法就取第一个

a_s = div_people_list.find_all ('a')

#这里使用find_all方法取出所有标签为"a"的代码，返回一个列表（list）。"a"标签里的"href"参数是我们需要的老师的个人主页的信息，而标签里面的文字是老师的名字

for a in a_s :
    url = a['href']
    name = a.get_text()
    print name , url

运行结果如下：