今天老师课上突然坐我旁边神秘地给我布置了一个任务：帮他把华为应用市场中的应用按类别选择100多个应用，把应用名、类别、url、下载次数放到excel中
（(;¬_¬)难道是我今天上课迟到的惩罚？）
大概是图里的这些信息
答应下来以后，想想Ctrl+C Ctrl+V这么多信息还是有点麻烦的，回去的路上想到这事儿可以写个爬虫解决_(・ω・｣ ∠)_
F12后可以看到相应标签的class等属性，不过下载次数直接就是个span标签，所以我用的text正则匹配
代码如下：(..•˘_˘•..)
import xlsxwriter from bs4 import BeautifulSoup import re from urllib import request #把应用名、类别、url、下载次数写入excel,因为只需要打开一次文件，所以把file和sheet定义为全局变量 def write_excel(name, type_name, url, download): # 全局变量row代表行号 0-4代表列数 global row sheet.write(row, 0, row) sheet.write(row, 1, name) sheet.write(row, 2, type_name) sheet.write(row, 3, url) sheet.write(row, 4, download) row += 1 def get_list(url): # 请求url req = request.Request(url) # 设置请求头 req.add_header("User-Agent", "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:57.0) Gecko/20100101 Firefox/57.0") # 得到响应对象 response = request.urlopen(req) # 得到Beautiful对象 soup = BeautifulSoup(response, "html.parser") # 找到第一个class为key-select txt-sml的标签 type_name = soup.find(attrs={"class": "key-select txt-sml"}) # 找到所有应用名title所在的标签 title_divs = soup.find_all(attrs={"class": "title"}) for title_div in title_divs: if title_div.a is not None: name = title_div.a.text # a['href']得到a的herf属性内容 url = "http://app.hicloud.com" + title_div.a['href'] # string[3:]截取从第三个字符开始到末尾 download = title_div.parent.find(text=re.compile("下载:"))[3:] write_excel(name, type_name.text, url, download) #全局变量:row用来定义行数,方便写入excel行数一直累加,file和sheet因为创建一次就可以 row = 1 # 新建一个excel文件 file = xlsxwriter.Workbook('applist.xlsx') # 新建一个sheet sheet = file.add_worksheet() if __name__ == '__main__': #暂时列出两个类型 url_1 = "http://app.hicloud.com/soft/list_23" url_2 = "http://app.hicloud.com/soft/list_24" get_list(url_1) get_list(url_2) file.close()
实现效果部分截图如下：ヾ(*´▽‘*)ﾉ
