除了首页(首页有置顶博客),其余页每页10篇博客
所以,先从非首页入手。
爬取思路还是和之前的一遍博客写的一样,http://www.cnblogs.com/UncleYong/p/6892688.html
这里给出详细代码及注释:
import requests, xlwt from bs4 import BeautifulSoup url_list = [] # 用于存放标题和url # 获取源码 def get_content(url): html = requests.get(url).content return html # 获取某页中的所有博客url def get_url(html): soup = BeautifulSoup(html, 'lxml') # lxml是解析方式,第三方库 blog_url_list = soup.find_all('div', class_='postTitle') for i in blog_url_list: url_list.append([i.find('a').text, i.find('a')['href']]) for page in range(1,10): url = 'http://www.cnblogs.com/UncleYong/default.html?page={}'.format(page) # print(url) get_url(get_content(url)) newTable = 'blog_list2.xls' wb = xlwt.Workbook(encoding='utf-8') # 打开一个对象 ws = wb.add_sheet('blog') # 添加一个sheet headData = ['博客标题', '链接'] # 写标题 for colnum in range(0, 2): ws.write(0, colnum, headData[colnum], xlwt.easyxf('font:bold on')) # 第0行的第colnum列写入数据headDtata[colnum],就是表头,加粗 index = 1 lens = len(url_list) # 写内容 for j in range(0, lens): ws.write(index, 0, url_list[j][0]) ws.write(index, 1, url_list[j][1]) index += 1 # 下一行 wb.save(newTable) # 保存
结果:
总共50条数据
因为有置顶的文章,所以,上面的url是有重复的,比如:
[置顶]python多线程测试接口性能,http://www.cnblogs.com/UncleYong/p/7004415.html
python多线程测试接口性能,http://www.cnblogs.com/UncleYong/p/7004415.html
所以,可以先存入字典,每次判断url是否在keys()中,不在的话,增加字典的key和value
import requests, xlwt from bs4 import BeautifulSoup url_dic = {} # 用于存放标题和url li = [] # 用于存放有序的标题和url # 获取源码 def get_content(url): html = requests.get(url).content return html # 获取某页中的所有博客url def get_url(html): soup = BeautifulSoup(html, 'lxml') # lxml是解析方式,第三方库 blog_url_list = soup.find_all('div', class_='postTitle') for i in blog_url_list: if i.find('a')['href'] not in url_dic.values(): url_dic[i.find('a').text]=i.find('a')['href'] for page in range(1,10): url = 'http://www.cnblogs.com/UncleYong/default.html?page={}'.format(page) # print(url) get_url(get_content(url)) for i,j in url_dic.items(): # print(i, j) li.append((i,j)) newTable = 'blog_list4.xls' wb = xlwt.Workbook(encoding='utf-8') # 打开一个对象 ws = wb.add_sheet('blog') # 添加一个sheet headData = ['博客标题', '链接'] for colnum in range(0, 2): ws.write(0, colnum, headData[colnum], xlwt.easyxf('font:bold on')) # 第0行的第colnum列写入数据headDtata[colnum],就是表头,加粗 index = 1 lens = len(li) for j in range(0, lens): ws.write(index, 0, li[j][0]) ws.write(index, 1, li[j][1]) index += 1 # 下一行 wb.save(newTable) # 保存
这样,就少了两条被置顶的数据,获取到的是加了置顶二字的数据。
但是,如果是要获取到没有置顶二字的数据,那就通过切片,每次获取到标题都做切片操作
# 有置顶二字的标题 print('[置顶]python多线程测试接口性能'.split('[置顶]')[1]) # 无置顶二字的标题 print('python多线程测试接口性能'.split('[置顶]')[0])
但是问题又来了,因为标题中可能也包含‘[置顶]’,
可以这样:
li = ['[置顶]python多线程测试[置顶]接口性能','python多线程测试[置顶]接口性能','python多线程测试接口性能'] for i in li: print(i.center(50,'*')) if i.count('[置顶]') > 0: if i.split('[置顶]')[0]=='': # print(i.split('[置顶]')[1]) print(''.join(i.split('[置顶]'))) else: print(i) else: print(i)