分析AJAX抓取今日头条的街拍美图并把信息存入mongodb中

今天学习分析ajax 请求,现把学得记录,

把我们在今日头条搜索街拍美图的时候,今日头条会发起ajax请求去请求图片,所以我们在网页源码中不能找到图片的url,但是今日头条网页中有一个json 文件,这相文件中就包括单个图集的具体url,通过访问这个url ,又可以获取一个json 文件,这个json 文件中有个键是url_list  这个键的值是一个List ,这个list中就存入了具体单个图片的下载url ,通过request.get()方法去访问这个url ,然后把得到content以二进制的方式写入到本地,并把其他数据存入到mongodb中,

代码如下,

import requests
import json
from urllib.parse import urlencode
from requests.exceptions import RequestException
import re
from bs4 import BeautifulSoup
from config import *
import pymongo
from hashlib import md5
import os
from multiprocessing import Pool


def get_page_index(offset, keyword):
    """传入要数据,获得详情页面"""
    data = {
        "autoload": "true",
        "count": 20,
        "cur_tab": 3,
        "format": "json",
        "from": "gallery",
        "keyword": keyword,
        "offset": offset,
    }
    url = "https://www.toutiao.com/search_content/?" + urlencode(data)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print("请求index页面失败")
        return None


def parse_page_index(html):
    """头条街拍图片存在一个json中,json中的data就是单个图集的信息"""
    data = json.loads(html)
    if data and "data" in data.keys():
        for item in data.get("data"):
            yield item.get("article_url")


def get_page_detail(url):
    """获得单个图集url的信息"""
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print("请求详情页面失败")
        return None


def parse_page_detail(html, url):
    """解析单位个图集url的网页信息,因为信息存放于一个json文件中,这个json文件嵌套在html中,所以使用re解析"""
    # 先用BeautifulSoup获得title.
    soup = BeautifulSoup(html, "lxml")
    title = soup.select("title")[0].get_text()
    print(title)
    images_pattern = re.compile('parse("(.*?)"),', re.S)
    result = re.search(images_pattern, html)

    if result:
        data = result.group(1)
        data = json.loads(data)
        if data and "url_list" in data.keys():
            url_list = data.get("url_list")
            images = [item.get("url") for item in url_list]
            for image in images:
                # 调用函数下载图片到本地
                download_imag(image)
            # 返回数据,返回的数据存入mongodb
            return {
                "title": title,
                "images": images,
                "url": url,
            }


def save_to_mongo(result):
    client = pymongo.MongoClient(MONGO_URL, connect=False)
    db = client[MONGO_DB]
    if db[MONGO_TABLE].insert(result):
        print("insert into mongo success", result)
        return True
    else:
        return False


def download_imag(url):
    """# 下载图片到本地"""
    print("正在下载 :", url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            # response.content 返回二进制内容
            # response.text返回字符串
            save_image(response.content)
    except RequestException:
        print("请求图片失败", url)


def save_image(content):
    """解析图片url的信息,把获得的信息写入本地文件中"""
    file_path = '{0}/{1}.{2}'.format(os.getcwd(), md5(content).hexdigest(), "jpg")
    if not os.path.exists(file_path):
        with open(file_path, "wb") as f:
            f.write(content)


def main(offset):
    """主函数"""
    html = get_page_index(offset, KEYWORD)
    # 防止get_page_index没有取回数据
    if html is not None:
        for url in parse_page_index(html):
            html = get_page_detail(url)
            if html:
                result = parse_page_detail(html, url)
                save_to_mongo(result)
                print(result)
    else:
        print("get_page_index 函数没有取到数据")


if __name__ == "__main__":
    """使用多进程加快速度"""
    groups = [x * 20 for x in range(GROUP_START, GROUP_END)]
    pool = Pool()
    pool.map(main, groups)

这个程度代码相对简单,逻辑清楚,程序之间参数传递及程序的跳转也不难,只是分析今日头条的ajax请求,及获得各个json文件相对复杂一点.

我把程度的配置信息写在config.py 这个文件中,这样方法之后程序的重用,

config.py 代码如下:

MONGO_URL="localhost"
MONGO_DB="toutiao"
MONGO_TABLE="toutiao"

GROUP_START = 1 # 定义起始循环点
GROUP_END = 20 # 定义终止循环点
KEYWORD="街拍"

通过这个程序,学会了分析,这种通过发起ajax请求而获取数据的网页的源码分析.这个程序不足的地方是,这个程序是用requsts库做的解析,程序会是用函数而不是类去实现,后续要把这个程序改用scrapy 库去实现.