Python爬取猫眼电影100榜并保存到excel表格

首先我们前期要导入的第三方类库有;

 通过猫眼电影100榜的源码可以看到很有规律 如:

亦或者是:

 根据规律我们可以得到非贪婪的正则表达式

"""<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?releasetime">(.*?)</p>"""

之后我们观察网页地址(url)的变化规律:

这是第一页的网址: https://maoyan.com/board/4?offset=0

这是第二页的网址: https://maoyan.com/board/4?offset=10

这是第三页的网址: https://maoyan.com/board/4?offset=20

可以见的网页变化规律为:(当前页数-1)*10   即为:(N-1)*10

之后下面进行爬取

from urllib import request
import random
import time
import csv
import re
import xlwt

class catEyesMovie:

    def __init__(self):
        self.url = 'https://maoyan.com/board/4?offset={}'
        self.ua_list = [
            'Win7:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'
        ]
        self.line = 1;
            #'User-Agent': 'Win7:Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'


    #获取网页内容
    def get_page(self,url):
        #使用随机的user-agent
        headers = {'User-Agent':random.choice(self.ua_list)}
        #创建请求对象
        req = request.Request(url=url,headers=headers)
        #发送请求
        res = request.urlopen(req)
        #获取相应对象
        html = res.read().decode('utf-8','ignore')
        return html

    #清洗数据
    def clean_page(self,html,xwlt):
        pattern = re.compile("""<div class="movie-item-info">.*?title="(.*?)".*?class="star">(.*?)</p>.*?releasetime">(.*?)</p>""", re.S)
        r_list = pattern.findall(html)
        self.write_page(r_list,xwlt)


    #保存内容
    def write_page(self,r_list,xwlt):
        one_film_dict = {}
        for rt in r_list:
            xwlt.write(self.line,0,rt[0].strip())
            xwlt.write(self.line,1,rt[1].strip())
            xwlt.write(self.line,2,rt[2].strip())
            self.line+=1



    def main(self,xwlt):
        #凭借字符串
        res = []
        for i in range(1,11):
            #拼接url地址 https://maoyan.com/board/4?offset={}
            #获取当前页数
            offset = (i-1)*10
            url = self.url.format(offset)
            html = self.get_page(url)
            self.clean_page(html,xwlt)





if __name__ == '__main__':
    start = time.time()
    spider = catEyesMovie()
    #创建一个xlwt对象
    book = xlwt.Workbook(encoding='utf-8')
    #创建sheet,Sheet1为表的名字,cell_overwirite_ok为是否覆盖单元格
    sheet1 = book.add_sheet(u'Sheet1',cell_overwrite_ok=True)
    #进行第一行标题定义
    sheet1.write(0,0,'电影名称')
    sheet1.write(0,1,'主演')
    sheet1.write(0,2,'上映时间')
    #进行爬取
    spider.main(sheet1)
    book.save('D:\write.xls')
    end = time.time()
    print('执行时间为: %.2f' % (end-start))

每次爬取到的数据结构为:

{'电影名称': '速度与激情5', '主演': '速度与激情5', '上映时间': '速度与激情5'}
{'电影名称': '驯龙高手', '主演': '驯龙高手', '上映时间': '驯龙高手'}
{'电影名称': '勇敢的心', '主演': '勇敢的心', '上映时间': '勇敢的心'}
{'电影名称': '闻香识女人', '主演': '闻香识女人', '上映时间': '闻香识女人'}
{'电影名称': '神偷奶爸', '主演': '神偷奶爸', '上映时间': '神偷奶爸'}

完成后的excel表格如下:

　　　　　　　　仅供学习!!