python知乎内容抓取（话题结构、关注人数、问题数、精华问题等相关内容，redis存储）

　　因为平时喜欢上知乎，发现其话题是一个有向无环图（自己介绍说得），一级一级往上最后到根话题，所以我就想尝试从根话题一级一级往下将其全部内容爬取。最后实践过程中发现自己想多了..有以下三个问题：

　　1.数据量巨大，单台电脑能力肯定不够。我这里只抓取了话题结构和话题对应的单个页面（不翻页）的一些呈现信息，没有抓取具体问题回答的内容。

　　2.如果直接连续抓取，没多少次就会被知乎检测到异常，这里使用代理ip可以解决。

　　3.最麻烦的是要查看所有话题结构必须要登录（如下图示例显示的子话题是可以抓到的，但是点击查看全部话题结构就需要登录），一旦登录就不可能连续抓取，除非能搞到很多账号，而且还需要破解验证等问题。我这块目前只是从根话题抓取直接显示出来的子话题，所以抓取到的话题数量和实际差的很远。后面计划使用一个其他方法抓取（看这里）

　

　　存储由于key-value型很适合这里，所以我使用的是redis数据库，而且很快。一共有四张key-value表，zhTopicName保存话题名称（key）-子话题id（value，后同），zhTopicTree保存话题的结构有向无环图（邻接链表法，id-[子话题id...]），zhTopicMessage保存话题id-（关注人数，问题数），zhTopicQuestions保存话题id-[（问题名称，作者，评论数，点赞数，链接）...]

参考代码如下：

# -*- coding: UTF-8 -*-

from bs4 import BeautifulSoup
import requests
import random
import redis
import time
import json

# 子话题目录id获取接口url，当前初始根话题id为19776749
CHILDREN_URL = 'https://www.zhihu.com/api/v3/topics/%u/children'

# 知乎精华url
TOP_ANSWERS_URL = 'https://www.zhihu.com/topic/%u/top-answers'

# 请求头
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 
 16 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}

# 代理ip，这里示例放了一个，自己可以在网上找些补充下
PROXIES_LIST = [
    {"http": "218.14.227.198:3124"},
]

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)

r = redis.Redis(connection_pool=pool)

s = requests.session()


def crawl_message(uid):
    try:
        req = s.get(url=TOP_ANSWERS_URL % int(uid), headers=HEADERS, proxies=random.choice(PROXIES_LIST)).text
    except Exception as e:
        raise e
    bf = BeautifulSoup(req, 'html.parser')
    strong = bf.find_all('strong', class_='NumberBoard-itemValue')
    # 0为关注人数，1为问题数
    try:
        r.hset('zhTopicMessage', uid, (strong[0].get('title'), strong[1].get('title')))
    except Exception as ex:
        print(uid, ex)
        return
    items = bf.find_all('div', class_='ContentItem AnswerItem')
    tqs = []
    for t in items:
        # 问题、作者、评论数、点赞数、链接
        tqs.append((eval(t.get('data-zop'))['title'], eval(t.get('data-zop'))['authorName'],
                    t.find(itemprop='commentCount').get('content'),
                    t.find('button', class_="Button VoteButton VoteButton--up").contents[-1],
                    t.find('a').get('href')))
    r.hset('zhTopicQuestions', uid, tqs)
    time.sleep(0.1)


# 获取话题的那个有向无环图以及其名称与id的对应关系并入库
def crawl_topic():
    while len(crawl_topic.zhTopic) > 0:
        try:
            data = 
                json.loads(
                    s.get(url=CHILDREN_URL % int(crawl_topic.zhTopic[0]), headers=HEADERS,
                          proxies=random.choice(PROXIES_LIST)).text)[
                    'data']
        except Exception as ex:
            raise ex
        if not data:  # 已经到叶子话题返回
            crawl_topic.zhTopic.pop(0)
            continue
        ids = []
        for m in data:
            nid = m['id']
            ids.append(nid)
            crawl_topic.zhTopic.append(nid)
            r.hset('zhTopicName', m['name'], nid)
        r.hset('zhTopicTree', nid, ids)
        crawl_topic.zhTopic.pop(0)


def start_crawl():
    # 19776749为当前知乎根话题id
    # 这里构造一个id队列避免使用递归
    crawl_topic.zhTopic = [19776749]
    r.hset('zhTopicName', '「根话题」', 19776749)
    crawl_topic()
    ids = r.hvals('zhTopicName')
    for tid in ids:
        crawl_message(tid)


def result_display():
    try:
        for tnm in r.hkeys('zhTopicName'):
            tid = r.hget('zhTopicName', tnm)
            print('话题:', tnm.decode(), '    关注人数:', tid[1], '    问题数:', tid[0])
            for e in eval(r.hget('zhTopicQuestions', tid).decode()):
                print('    ', '问题:', e[0], '作者:', e[1], '评论数', e[2], '点赞数:', e[3], '链接:', e[4])
    except Exception as ex:
        print(ex)


if __name__ == '__main__':
    start_crawl()
    result_display()

　　在我本机测试一共运行了5个小时左右获取了1万3千多个话题（如上问题3所述，远少于实际话题数，估计不到十分之一），每个话题不到5条精华问题（页面直接展示几条就抓几条，没有翻页）。下面展示下运行结果：

　　最后按网上流行那种话题关注人数多少对应字体大小画张图展示下（我也是现学现卖，仅供参考:)）

 代码如下：

import matplotlib.pyplot as plt
from matplotlib import colors as mcolors
import numpy as np
import random
import redis

pool = redis.ConnectionPool(host='localhost', port=6379, db=0)

r = redis.Redis(connection_pool=pool)

followers = []
for tnm in r.hkeys('zhTopicName'):
    tid = r.hget('zhTopicName', tnm)
    msg = r.hget('zhTopicMessage', tid)
    if msg:
        followers.append((tnm.decode(), int(eval(msg)[0])))
# 按关注人数取前300的话题
hotTopics = sorted(followers, key=lambda follower: follower[1], reverse=True)[0:300]

plt.figure(figsize=(10, 6.18))
plt.setp(plt.gca(), frame_on=False, xticks=(), yticks=())
plt.axis([0, 100, 0, 100])
plt.rcParams['font.sans-serif'] = ['SimHei']

randC = np.linspace(-20, 100, 300)

colors = dict(mcolors.BASE_COLORS, **mcolors.CSS4_COLORS)
by_hsv = sorted((tuple(mcolors.rgb_to_hsv(mcolors.to_rgba(color)[:3])), name)
                for name, color in colors.items())
sorted_names = [name for hsv, name in by_hsv]
random.shuffle(sorted_names)

random.shuffle(randC)

rankings = 0
for topic in hotTopics:
    plt.text(randC[rankings], randC[299 - rankings], topic[0], fontsize=(300 - rankings) / 10 + 10,
             rotation=random.randint(-30, 30), style='italic', alpha=0.75,
             color=sorted_names[rankings % len(sorted_names)])
    rankings = rankings + 1

plt.show()

运行结果：