爬取今日头条街拍美图

import requests
from bs4 import BeautifulSoup
import json,re,os
from urllib.parse import urlencode
from hashlib import md5
from multiprocessing.pool import Pool
from requests.exceptions import RequestException
import pymongo
#引入模块config中所有变量
from config import *
from json.decoder import JSONDecodeError

#声明MongoDB对象
client = pymongo.MongoClient(MONGO_URL,connect=False)
db = client[MONGO_DB]
#这里插入到MongoDB。
#保存到本地
def save_to_mongo(result):
    if db[MONGO_TABLE].insert(result):
        print('存储到MongoDB成功',result)
        return True
    else:
        return False
#获取索引页数据
def get_page_index(offset,keyword):
    data = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': '3',
        'from':'gallery'
    }
    #将data变成请求参数
    url = 'https://www.toutiao.com/search_content/?'+urlencode(data)
    try:
        response = requests.get(url)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.text
    except RequestException:
        print('爬取索引页失败！')
#解析索引页
def parse_page_index(html):
    # 获取所有详情页的url
    try:
        # 页面是json格式的，装换成字符串格式
        data = json.loads(html)
        # data.keys()返回所有键名
        if data and 'data' in data.keys():
            for item in data.get('data'):
                if item.get('cell_type') is not None:
                    continue
                yield item.get('article_url')
    except JSONDecodeError:
        pass

def get_page_detail(url):
    # 请求详情页的url

    #这里不加 headers 是获取不到数据的。
    headers = {'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '}
    try:
        response = requests.get(url,headers=headers)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.text
    except RequestException:
        print('爬取详情页失败！',url)
        return None

def parse_page_detail(html,url):
    '''获取详情页的标题和图片地址url'''

    #利用BeautifulSoup库提取标题
    try:
        soup = BeautifulSoup(html,'lxml')
        title = soup.select('title')[0].get_text()
        if title: print(title)
    except:
        pass

    # 利用正则表达式提取图片地址
    images_pattern = re.compile(r'.*?gallery: JSON.parse("(.*?)")',re.S|re.M)
    result = re.search(images_pattern,html)

    if result:
        data = json.loads(result.group(1).replace('\',''))
        #print(data)
        if data and 'sub_images' in data.keys():
            sub_images = data.get('sub_images')
            #提取图片
            images = [item.get('url') for item in sub_images]
            #保存图片到本地
            for image in images:
                download_image(title,image)
            return {'title':title,
                    'url':url,
                    'images':images}
    else:
        print('空')

def save_image(title,result):
    img_path = 'image' + os.path.sep + title
    if not os.path.exists(img_path):
        os.makedirs(img_path)
    file_path = '{0}/{1}.{2}'.format(img_path,md5(result).hexdigest(),'jpg')
    if not os.path.exists(file_path):
        with open(file_path,'wb') as f:
            f.write(result)
        print("%s下载完成"%file_path)
    else:
        print("%s已经存在"%file_path)

def download_image(title,url):
    try:
        print('正在下载',url)
        r = requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        save_image(title,r.content)

    except RequestException:
        print('请求图片出错',url)
        return False

def main(offset):
    #调用函数
    html= get_page_index(offset,KEYWORD)
    for url in parse_page_index(html):
        html = get_page_detail(url)
        if html:
            result = parse_page_detail(html,url)
            # print(result)
            if result: save_to_mongo(result)



if __name__=='__main__':
    #开启多线程抓取
    pool = Pool()
    group = [x*20 for x in range(GROUP_START,GROUP_END+1)]
    pool.map(main,group)
    pool.close()

以上是spider.py

借鉴：https://blog.csdn.net/sixkery/article/details/81836017

有两个坑我遇到的：

第一个坑
如果你点击图集，打开开发者工具，刷新一下，你会发现，你的页面在综合这一栏。
你会发现你找到的上图的参数跟我的不一样。
这里你可以刷新之后点击图集，然后向下拖动几个，让页面多加载一些。
其中「cur_tab:3」这个参数中的数字对应图集，这下你明白了吧。
到这里就好办了，我们点击 Preview

可以看到 data 下方有 article_url 当然还有 image_url ，你点击 image_url 你会发现只有四个 url ，复制链接在浏览器上打开你发现 TMD 还不是大图，还是缩略图，所以我们不用它，我们获取 article_url ，获取之后再次请求不就完了吗。

分析详情页
这里我们来看看详情页的内容

 

详情页分析
这里我们随便点开一个组图的 url 来分析，我们可以看到返回的数据是一大堆 html ,这里有必要说一下，我们在获取页面内容的时候，一般浏览器会返回给我们的是 response 里的内容。但是我们大多数爬取数据，用 xpath 、BeautifulSoup 获取数据，看的是 Elements 里的内容。这里一定要看看 response 里的内容和 Element 里的是否相同。
这里的图片地址还真是不好找，具体怎么找呢，点开图片的地址，复制下链接，在HTML里「Ctrl + F」就发现了。是在红色框里面的。

第二个坑

首先，这里获取的页面内容是 json 格式的，我们看一下这里的内容



详情页json
这里获取用BeautifulSoup 获取 title 很方便，直接去第一个 title 就好了，关键就在这个image的提取。

image.png
这里是在红色框里的，这里涉及到了正则的用法，代码里用到了反斜杠，这里是转义匹配，要不然正则会匹配不到想要的数据。
还有在源代码中出现了好多反斜杠，不去除掉还是没办法匹配。
这些坑跨过之后就一帆风顺了。

配置文件

'''配置文件'''


#链接地址
MONGO_URL='localhost'

#数据库名称
MONGO_DB='toutiao'

#表名称
MONGO_TABLE='toutiao'

GROUP_START=1
GROUP_END=20

KEYWORD = '街拍'

另一种爬取今日头条美图

import requests
from urllib.parse import urlencode
from requests import codes
import os
from hashlib import md5
from multiprocessing.pool import Pool


def get_page(offset):
    params = {
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
        'from': 'search_tab'
    }
    base_url = 'https://www.toutiao.com/search_content/?'
    url = base_url + urlencode(params)
    try:
        resp = requests.get(url)
        if codes.ok == resp.status_code:
            return resp.json()
    except requests.ConnectionError:
        return None


def get_images(json):
    if json.get('data'):
        data = json.get('data')
        for item in data:
            if item.get('cell_type') is not None:
                continue
            title = item.get('title')
            images = item.get('image_list')
            for image in images:
                yield {
                    'image': 'https:' + image.get('url'),
                    'title': title
                }


def save_image(item):
    img_path = 'img' + os.path.sep + item.get('title')
    if not os.path.exists(img_path):
        os.makedirs(img_path)
    try:
        resp = requests.get(item.get('image'))
        if codes.ok == resp.status_code:
            file_path = img_path + os.path.sep + '{file_name}.{file_suffix}'.format(
                file_name=md5(resp.content).hexdigest(),
                file_suffix='jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(resp.content)
                print('Downloaded image path is %s' % file_path)
            else:
                print('Already Downloaded', file_path)
    except requests.ConnectionError:
        print('Failed to Save Image，item %s' % item)


def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)


GROUP_START = 0
GROUP_END = 7

if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()
    pool.join()