当我们爬虫爬取大量数据并且已经爬取到了本地，这些数据如果不存储起来，那么就会变得无效.
那下面让小编教你把这些数据插入Excel中保存下来吧~
我们已经把数据爬到本地并已经插入execl，上效果图
操作Execl其实里面很多东西要去了解，但这里我讲常用的读写，满足我们的一般需求,感兴趣的朋友可以自己去深入。
1. 读execl文件
需要安装 xlrd库，老办法，直接在setting中安装，然后导入放可使用python读取execl
操作这样的execl列表
# coding=utf-8 import xlrd data = xlrd.open_workbook('execl_file.xlsx') table = data.sheets()[0] #通过索引顺序获取table, 一个execl文件一般都至少有一个table print table.nrows #行数 print table.ncols #列数 for k in range(table.nrows): #遍历行数据 print table.row_values(k) for i in range(table.ncols): #便利列数据 print table.col_values(i) print table.cell(2,2).value #获取单元格数据，前一个是行数，从0开始，后一个是列数，且列数从0开始 for a in range(1,table.nrows): #行数据，我正好要去掉第1行标题 for b in range(table.ncols): print table.cell(a,b).value print '----------------------'
得到结果： 6 4 [u'u54c1u724c', u'size', u'u4ef7u683c', u'u6027u522b'] [u'Nike', 90.0, 1033.0, u'u7537'] [u'addida', 88.0, 444.0, u'u5973'] [u'zara', 87.0, 333.0, u'u7537'] [u'Lining', 33.0, 22.0, u'u7537'] [u'kappa', 33.0, 222.0, u'u7537'] [u'u54c1u724c', u'Nike', u'addida', u'zara', u'Lining', u'kappa'] [u'size', 90.0, 88.0, 87.0, 33.0, 33.0] [u'u4ef7u683c', 1033.0, 444.0, 333.0, 22.0, 222.0] [u'u6027u522b', u'u7537', u'u5973', u'u7537', u'u7537', u'u7537'] 444.0 Nike 90.0 1033.0 男 ---------------------- addida 88.0 444.0 女 ---------------------- zara 87.0 333.0 男 ---------------------- Lining 33.0 22.0 男 ---------------------- kappa 33.0 222.0 男 ----------------------
很简单没有什么要解释的了
2. 复习一下range函数
# >>> range(1,5) #代表从1到5(不包含5) # [1, 2, 3, 4] # >>> range(1,5,2) #代表从1到5，间隔2(不包含5) # [1, 3] # >>> range(5) #代表从0到5(不包含5) # [0, 1, 2, 3, 4]
3. 写入execl
需要安装xlwt库，老办法自己先安装，不多说了,需要导入xlwt然后放可使用python写入数据
workbook = xlwt.Workbook(encoding='utf-8')#创建workbook 其实就是execl， worksheet = workbook.add_sheet('my_worksheet') #创建表，如果想创建多个，直接在后面再add_sheet worksheet.write(0,0,label ='Row 0,Column 0 Value') #3个参数，第一个参数表示行，从0开始，第二个参数表示列从0开始，第三个参数表示插入的数值 workbook.save('execl_liu.xlsx') #写完记得一定要保存
完整实例代码
f = xlwt.Workbook() #创建工作薄 #创建个人信息表 sheet1 = f.add_sheet(u'个人信息',cell_overwrite_ok=True) rowTitle = [u'编号',u'姓名',u'性别',u'年龄'] rowDatas = [[u'张一',u'男',u'18'],[u'李二',u'女',u'20'],[u'黄三',u'男',u'38'],[u'刘四',u'男',u'88']] for i in range(0,len(rowTitle)): sheet1.write(0,i,rowTitle[i],set_style('Times new Roman',220,True)) 后面是设置样式 for k in range(0,len(rowDatas)): #先遍历外层的集合，即每行数据 rowDatas[k].insert(0,k+1) #每一行数据插上编号即为每一个人插上编号 for j in range(0,len(rowDatas[k])): #再遍历内层集合 sheet1.write(k+1,j,rowDatas[k][j]) #写入数据,k+1表示先去掉标题行，另外每一行数据也会变化,j正好表示第一列数据的变化，rowdatas[k][j] 插入数据 #创建个人收入表 sheet1 = f.add_sheet(u'个人收入表',cell_overwrite_ok=True) rowTitle2 = [u'编号',u'姓名',u'学历',u'工资'] rowDatas2 = [[u'张一',u'本科',u'8000'],[u'李二',u'硕士',u'10000'],[u'黄三',u'博士',u'20000'],[u'刘四',u'教授',u'50000']] for i in range(0,len(rowTitle2)): sheet1.write(0,i,rowTitle2[i]) for k in range(0,len(rowDatas2)): #先遍历外层的集合 rowDatas2[k].insert(0,k+1) #每一行数据插上编号即为每一个人插上编号 for j in range(0,len(rowDatas2[k])): #再遍历内层集合 sheet1.write(k+1,j,rowDatas2[k][j]) #写入数据,k+1表示先去掉标题行，另外每一行数据也会变化,j正好表示第一列数据的变化，rowdatas[k][j] 插入数据 f.save('info.xlsx')
最后得到的效果图
3. 把爬取的数据插入到execl中
这里直接上代码了，相关的注释都在代码里
# coding=utf-8 import requests import time import xlwt import xlrd from lxml import etree class ZbjData(object): def __init__(self): self.f = xlwt.Workbook() #创建工作薄 self.sheet1 = self.f.add_sheet(u'任务列表',cell_overwrite_ok=True) self.rowsTitle = [u'编号',u'标题',u'简介',u'价格',u'截止时间',u'链接'] for i in range(0, len(self.rowsTitle)): self.sheet1.write(0, i, self.rowsTitle[i], self.set_style('Times new Roman', 220, True)) self.f.save('zbj.xlsx') def set_style(self,name, height, bold=False): style = xlwt.XFStyle() # 初始化样式 font = xlwt.Font() # 为样式创建字体 font.name = name font.bold = bold font.colour_index = 2 font.height = height style.font = font return style def getUrl(self): for i in range(33): url = 'http://task.zbj.com/t-ppsj/p{}s5.html'.format(i+1) self.spiderPage(url) def spiderPage(self,url): if url is None: return None try: data = xlrd.open_workbook('zbj.xlsx') table = data.sheets()[0] # 通过索引顺序获取table, 一个execl文件一般都至少有一个table rowCount = table.nrows #获取行数 ，下次从这一行开始 proxies = { 'http': 'http://221.202.248.52:80', } user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400' headers = {'User-Agent': user_agent} htmlText = requests.get(url, headers=headers,proxies=proxies).text selector = etree.HTML(htmlText) tds = selector.xpath('//*[@class="tab-switch tab-progress"]/table/tr') m = 0 for td in tds: data = [] price = td.xpath('./td/p/em/text()') href = td.xpath('./td/p/a/@href') title = td.xpath('./td/p/a/text()') subTitle = td.xpath('./td/p/text()') deadline = td.xpath('./td/span/text()') price = price[0] if len(price)>0 else '' # python的三目运算 :为真时的结果 if 判定条件 else 为假时的结果 title = title[0] if len(title)>0 else '' href = href[0] if len(href)>0 else '' subTitle = subTitle[0] if len(subTitle)>0 else '' deadline = deadline[0] if len(deadline)>0 else '' #拼装成一个集合 data.append(rowCount+m) #加个序号 data.append(title) data.append(subTitle) data.append(price) data.append(deadline) data.append(href) for i in range(len(data)): self.sheet1.write(rowCount+m,i,data[i]) #写入数据到execl中 m+=1 #记录行数增量 print m print price, title, href, subTitle, deadline except Exception,e: print '出错',e.message finally: self.f.save('zbj.xlsx') if '_main_': zbj = ZbjData() zbj.getUrl()
最后的效果图是：
注意这里爬取数据的时候，有的代理ip还是被禁用了，所以获取数据有失败的情况，所以这里需要有异常处理..