分析 ajax 请求并抓取 “今日头条的街拍图”

今日头条抓取页面：

分析街拍页面的 ajax 请求：

通过在 XHR 中查看内容，获取 url 链接，params 参数信息，将两者进行拼接后取得完整 url 地址。data 中的 article_url 为各详情页的链接地址。

代码显示：

# 获取街拍页面；
def one_page_index(offset, keyword, headers):
    params = {
        'aid': 24,
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
    }
    url = "https://www.toutiao.com/api/search/content/?" + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求索引页出错！')
        return None

# 解析街拍页面的信息；
def parse_one_page(html):
    data = json.loads(html)
    if data and 'data' in data.keys():
        for item in data.get('data'):
            yield item.get('article_url')

详情页的解析：

需将获取到的数据进行格式调整；

代码显示：

def parse_detail(html, url):
    soup = BeautifulSoup(html, 'lxml')
    title = soup.select('title')[0].get_text()
    image_pattern = re.compile('gallery: JSON.parse("(.*)")', re.S)
    result = re.search(image_pattern, html)
    if result:
        # group(1)即为第一个括号里面的内容;
        # 将获取的数据格式进行调整；
        newResult = result.group(1).replace("\\u002F", '/')
        newResult = newResult.replace("\", '')
        data = json.loads(newResult)
        if data and 'sub_images' in data.keys():
            sub_images = data.get('sub_images')
            images = [item.get('url') for item in sub_images]
            for image in images: download_image(image)
            return {
                "title": title,
                "url": url,
                "images": images
            }

例外：

在街拍主页中，有些网页的内容不是图集，而是在单个页面中显示所有的图片，其解析的内容与图集形式的网页内容不同，无法正常解析出内容，会获取 None 。在写入数据库时需进行判断。

最后将抓取的数据保存到 MongoDB 数据库中，且将图片保存到本地文件中。

 

完整代码：

# config.py 文件

MONGO_URL = "localhost"
MONGO_DB = 'toutiao'
MONGO_TABLE = 'toutiao'

GROUP_START = 1
GROUP_END = 20
KEYWORLD = '街拍'

import json
import os
import re
from hashlib import md5
from urllib.parse import urlencode
import pymongo
from bs4 import BeautifulSoup
from requests.exceptions import RequestException
import requests
from toutiao.config import *
from multiprocessing import Pool


client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]

# 获取街拍页面；
def one_page_index(offset, keyword, headers):
    params = {
        'aid': 24,
        'app_name': 'web_search',
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': 20,
        'en_qc': 1,
        'cur_tab': 1,
        'from': 'search_tab',
        'pd': 'synthesis',
    }
    url = "https://www.toutiao.com/api/search/content/?" + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求索引页出错！')
        return None


# 获取街拍各详情页的信息；
def get_detail_page(url, headers):
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求详情页出错！')
        return None


# 解析街拍页面的信息；
def parse_one_page(html):
    data = json.loads(html)
    if data and 'data' in data.keys():
        for item in data.get('data'):
            yield item.get('article_url')


# 街拍各详情页的解析；
# 使用正则解析数据；
def parse_detail(html, url):
    soup = BeautifulSoup(html, 'lxml')
    title = soup.select('title')[0].get_text()
    image_pattern = re.compile('gallery: JSON.parse("(.*)")', re.S)
    result = re.search(image_pattern, html)
    if result:
        # group(1)即为第一个括号里面的内容;
        # 将获取的数据格式进行调整；
        newResult = result.group(1).replace("\\u002F", '/')
        newResult = newResult.replace("\", '')
        data = json.loads(newResult)
        if data and 'sub_images' in data.keys():
            sub_images = data.get('sub_images')
            images = [item.get('url') for item in sub_images]
            for image in images: download_image(image)
            return {
                "title": title,
                "url": url,
                "images": images
            }


# 下载图片；
def download_image(url):
    print('正在下载', url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            # 返回图片使用content；
            save_image(response.content)
            return None
        return None
    except RequestException:
        print('请求图片出错！')
        return None


# 将图片保存到本地；
# 使用md5形式的文件名，内容相同的md5值也相同，防止下载重复的图片；
def save_image(content):
    file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), 'jpg')
    if not os.path.exists(file_path):
        with open(file_path, 'wb') as f:
            f.write(content)
            f.close()


# 将数据存储到MongoDB中；
# 某些网页的图片全部在单页中显示，代码与图集形式显示的网页不同，解析会匹配不到内容，无法插入数据库；
def save_to_mongodb(result):
    if result and db[MONGO_TABLE].insert(result):
        print('存储到MongoDB成功', result)
        return True
    return False


def main(offset):
    headers = {
        "User-Agent": 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
        "cookie": 'tt_webid=6741657574736889357; WEATHER_CITY=%E5%8C%97%E4%BA%AC; tt_webid=6741657574736889357; csrftoken=9e7ac598957d2ec36c80c6f1e05b9622; s_v_web_id=2ab2b8ff35fc91cacdec489ca9a5570f; __tasessionId=d6osr6e6r1569719745562; UM_distinctid=16d7a9f7f4724e-0d4cc2a69d799-3c375d0d-100200-16d7a9f7f4a4f1'
    }
    html = one_page_index(offset, KEYWORLD, headers)
    for url in parse_one_page(html):
        if url:
            html = get_detail_page(url, headers)
            result = parse_detail(html, url)
            save_to_mongodb(result)

# 运行；
if __name__ == '__main__':
    groups = [x * 20 for x in range(GROUP_START, GROUP_END + 1)]
    Pool = Pool()
    Pool.map(main, groups)