爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评

昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。
今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。

反爬虫

豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是豆瓣认为在访问的就是一个用户，而不是机器。
【插入图片，我的cookie】

我们首先要登陆自己的豆瓣账户，随便点击一个评论页面，在请求信息里面，找到cookie，保存下来。

分析评论页

我们先看一下评论页面的url特点，或者说请求网址的构成。
https://movie.douban.com/subject/26378579/comments?start=20&limit=20&sort=new_score&status=P&percent_type=
一看上面的url，我们就能分析出来这又是一个参数传递的url，前面的地址是这部电影的url，我们通过昨天的学习，应该能够得到并且已经保存在数据库中了。
【插入图片，评论url参数】

改变start的值，就可以得到很多个页面了。

值得注意的是，评论并不是通过ajax加载的，而是在html的响应中存在的，我们解析url的响应内容，就可以获取评论。我还是喜欢用最方便的PyQuery来解析源代码。

然后我们分析一下评论的源代码构成：
【插入图片，所有评论的源码】

所有的评论内容都在一个class属性为comment-item的div标签里面，每页有大概20个。进一步来分析：
【插入图片，评论所在的div】

其实所有的评论内容，都能从一个class属性为comment的div标签里面获取，这个div是comment-item的子标签，我们直接获取这个标签就可以。
通过pyquery可以直接得到这些div，我们将其转换成list方便操作，还有一个就是用来判断何时停止迭代页面。

【插入图片，没有评论了】

如上所示，我们需要判断一下，start什么时候就要停止迭代，因为评论不可能是无穷多的。
我们发现在没有评论的页面，是没有comment的div存在的，也就是上面提到的list的长度应该是0.
这里有一个坑，最后我再讲给大家。

解析评论的组成

【插入图片，评论的组成部分】

我们看上面的图片，大致关心的内容包括评论用户、评论时间、评论内容以及对这条评论的投票数量。
一一来讲。

【插入图片，评论用户名】

用户名在一个class属性为comment-info的span标签内容的a标签的text。

【插入图片，评论内容】

评论内容在我们div下面唯一的p标签里面。

【插入图片，评论vote】

vote内容在一个class为votes的span里面。
评论时间在一个class为comment-time的span里面。

全部源码

我在每一条短评中假如了电影的名字，这样可以将多个电影的评论都放入一个mongodb表中。
我们设置了一个布尔值flag，用于判断什么时候结束翻页，并且在每次解析页面的时候返回一个bool值。当返回False的时候，就停止迭代了。

import requests
from urllib.parse import urlencode
import re
from pyquery import PyQuery
import pymongo

'''MONGO设置'''
MONGO_URL = 'localhost'
MONGO_DB = 'douban'
MONGO_Table = '热门电影评论'
client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


def get_one_page(start_no):
    data = {
        'start': start_no,
        'limit': 20,
        'sort': 'new_score',
        'status': 'P',
        'percent_type': ''
    }
    url = 'https://movie.douban.com/subject/26378579/comments?' + urlencode(data)
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393',
        'Cookie': 'ck=midm; __utmc=30149280; bid=4MkCJCpc9l0;'
                  ' __utma=30149280.714093067.1510577422.1512480946.1512561835.4;'
                  ' __utmz=30149280.1510577422.1.1.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; '
                  'll=108296; ps=y; dbcl2=170663415:1SxzYXxCPoE; __utmb=30149280.0.10.1512561835; '
                  'push_noty_num=0; push_doumail_num=0; __utmc=223695111;'
                  ' _pk_ref.100001.4cf6=%5B%22%22%2C%22%22%2C1512561809%2C%22https%3A%2F%2Fwww.douban.com%2F%22%5D;'
                  ' _pk_id.100001.4cf6=f414e971fcd4f788.1511518102.3.1512561978.1512480916.;'
                  ' _pk_ses.100001.4cf6=*;'
                  ' __utma=223695111.1064880032.1511518153.1512480946.1512561835.3;'
                  ' __utmz=223695111.1511518153.1.1.utmcsr=douban.com|utmccn=(referral)|utmcmd=referral|utmcct=/;'
                  ' __yadk_uid=sC5FTKHfpeiLyKd7wwi41h2JVxoLBNaF; __utmb=223695111.4.10.1512561835; __utmt=1'
    }
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            # print(response.text)
            return response.text
    except Exception:
        print('访问页面' + url + '出错！')
        return None


def parse_one_page(html):
    doc = PyQuery(html)
    title = doc.find('#content > h1:nth-child(1)').text()
    # print(title[:-2])
    items = list(doc('div.comment').items())
    length = len(items)
    # print(length)
    if length != 0:
        for item in items:
            commnet = {
                'movie': title,
                'comment user': item.find('span.comment-info').find('a').text(),#PyQuery的特点，可以连续使用find
                'comment': item.find('p').text(),
                'vote': item.find('span.votes').text(),
                'comment time': item.find('span.comment-time').text()
            }
            save_to_db(commnet)
        return True
    else:
        print('已没有短评了！')
        return False

#没有使用到
def get_commnets_number():
    html = get_one_page(0)
    pattern = re.compile('<span>看过(.*?)</span>')
    number = re.search(pattern, html).group(1)
    number = int(number[1:-1])
    page_number = number // 20
    print(page_number)


def save_to_db(film):
    try:
        if db[MONGO_Table].insert(film):
            print('保存成功', film)
    except Exception:
        print('保存出错', film)
        pass


def main():
    i = 0
    flag = True
    while flag:
        html = get_one_page(i * 20)
        flag = parse_one_page(html)
        i += 1


if __name__ == '__main__':
    main()

【插入图片，评论结果】

遇到的一个大坑

上面的代码中有一部分内容，让我烦恼了很久。
如果我们这么写，先获取items，然后使用len(list(items))获取这个items的长度，在if判断之后，for循环根本就不会运行。

经过多次长度，改成现在的版本能够实现我要的功能了。
大家可以试一下。