定向爬取网页内容

目录

• 实例：
• 编程步骤：
• 代码：
• 结果

实例：

• 爬取“中国好大学网页”，获得并输出：排名，大学名称，评分。

编程步骤：

• 获取网页内容

• 把获取的网页内容保存到列表

• 输出大学信息

• ps:分别用三个函数实现前面三步，最后编写主函数调用以上函数

代码：

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):#获取网页内容
    try:
        r = requests.get(url)#通过requests获取url信息
        r.raise_for_status()#产生异常信息
        r.encoding = r.apparent_encoding#修改编码
        return r.text#将网页内容返回给程序其他部分
    except:
        return ""#出现错误，返回空字符串
def fillUnivList(ulist,html):#网页内容存放列表
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find('tbody').children:#遍历找tbody标签的每一个孩子
        if isinstance(tr,bs4.element.Tag):#过滤，如果tr标签的类型不是bs4库定义的Tag类型，将过滤掉
            tds = tr('td')#把所有td标签存为一个列表类型tds
            ulist.append([tds[0].string,tds[1]('a')[0].string,tds[4].string])#在ulist中增加我们要爬取的信息
def printUnivList(ulist,num):#输出结果
    print("{0:6s}{1:10s}{2:6s}".format("排名","学校名称","总分"))
    for i in range(num):
        u = ulist[i]
        print("{0:6s}{1:10s}{2:6s}".format(u[0],u[1],u[2]))
def main():
    uinfo = []#定义列表，存放大学信息
    url = 'http://www.shanghairanking.cn/rankings/bcur/2020'#给出链接
    html = getHTMLText(url)#获取网页内容
    fillUnivList(uinfo,html)#存放网页内容
    printUnivList(uinfo,20)#打印大学信息
main()

结果

• 问题(待解决)：大学信息的格式化输出混乱，详细的中英文格式化转换输出，请见下次分享。