Python-爬虫-抓取头条街拍图片-1.1

下面实例是抓取头条图片信息，只是抓取了查询列表返回的json中image，大图标，由于该结果不会包含该链接详情页的所有图片列表；因此这里抓取不全；后续有时间在完善；

1、抓取头条街拍相关图片请求如下：

2、通过debug可以看到请求参数以及相应结果数据：

3、响应结果，比较重要的是data（group_id,image_list、large_image_url等字段）：

主程序如下：

抓取图片信息保存本地，然后将图片组和图片信息保存至mysql数据库；

#今日头条街拍数据抓取，将图片存入文件目录，将文件目录存放至mysql数据库
import requests
import  time
from urllib.parse import urlencode
import urllib.parse
import os
from requests import Request, Session
import pymysql
class TouTiaoDeep:
    def __init__(self):
        self.url='https://www.toutiao.com/search_content/'
        self.imagePath='D:/toutiao/images/'
        self.headers={
            'Accept':'application/json, text/javascript',
            'Accept-Encoding':'gzip, deflate, br',
            'Content-Type':'application/x-www-form-urlencoded',
            'Host': 'www.toutiao.com',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0',
            'X-Requested-With': 'XMLHttpRequest'
        }
        self.param={
            'offset':0,
            'format':'json',
            'keyword':  '街拍',
            'autoload':'true',
            'count':20,
            'cur_tab':1,
            'form':'search_tab',
            'pd':'synthesis'
         }
        self.filePath="D:/toutiaoImages"
        self.imgDict={} #{rows:[{title:'',pathName:'',images:[{name:'',desc:'',date:'',downloadUrl:''}...},...] ]}

    def getImgDict(self,offset):
        self.param['offset']=offset#偏移量
        session=Session()
        req=Request(method='GET',url=self.url ,params=self.param,headers=self.headers  )
        prep =  session.prepare_request(req)
        res = session.send(prep)
        #print(res.status_code)
        if res.status_code==200:
            json=res.json()
            #print(json)
            for i in range(len(json['data'])):
                if  'has_image' in json['data'][i].keys() and json['data'][i]['has_image']:#其中有视频列表组，因此排除那些视频组
                    # print("标题：",json['data'][i]['title'])
                    # print("图库：",json['data'][i]['image_list'])
                    # print("图库简介：",json['data'][i]['abstract'])
                    # print("图片个数：",(len(json['data'][i]['image_list'])))
                    yield {
                        'group_id':json['data'][i]['group_id'],
                        'groupTitle':json['data'][i]['title'],
                        'groupImages':json['data'][i]['image_list'],
                        'total':len(json['data'][i]['image_list']),
                        'abstract':json['data'][i]['abstract'],
                        'large_image_url':json['data'][i]['large_image_url'][:json['data'][i]['large_image_url'].rindex('/')]
                        # 例如：http://p3-tt.bytecdn.cn/large/pgc-image/2dc7e3cd2e0c46f69ee67c11c13ff58e  最后一个是图片id，前面是大图片地址（每一组大图片地址不同）
                        # print(item['large_image_url'][:item['large_image_url'].rindex('/')])#获取组大图片的地址url
                    }
    def imagesDownLoad(self,offset):
        # 获得当前时间时间戳
        now = int(time.time())
        #转换为其他日期格式,如:"%Y-%m-%d %H:%M:%S"
        timeStruct = time.localtime(now)
        strTime = time.strftime("%Y-%m-%d %H:%M:%S", timeStruct)

        datas=self.getImgDict(offset)
        for item in datas:
            #print(item)
            #下载图片信息
            groupImages=item['groupImages']
            print(item['groupTitle'])
            for i in groupImages:
                #print(i['url'][(i['url'].rindex('/')):])截取图片id即，图片地址最有一个namespace
                imgURL=item['large_image_url']+i['url'][(i['url'].rindex('/')):]#拼成完成的image URL
                print(imgURL)
                #创建存储文件夹,组id命名
                if not os.path.exists(self.imagePath+item['group_id']):
                    os.makedirs(self.imagePath+item['group_id'])
                #获取图片存上面指定目录中
                try:
                    a = urllib.request.urlopen(imgURL)
                except :
                      a=urllib.request.urlopen("http://p1.pstatp.com/origin/pgc-image/"+i['url'][(i['url'].rindex('/')):])#注意有一部分图片url路径是：http://p1.pstatp.com/origin/pgc-image/7290e8fcfdbc4a458d8ed7a6c1581283[前面的p1 可以任意换成p任意数字即可]
                      #注意；改程序在二十左右页抓取会出现图片路径资源错误 
                try:
                    f = open(self.imagePath+item['group_id']+"/"+i['url'][(i['url'].rindex('/')):]+'.jpg', "wb")
                    f.write(a.read())
                    f.close()
                    #持久化图片信息
                    rows_1={
                        'imageId': i['url'][(i['url'].rindex('/')):],
                        'imagesource': imgURL,
                        'imageName':i['url'][(i['url'].rindex('/')):]+'.jpg',
                        'imageDesc': '无',
                        'groupid': item['group_id']
                    }
                    self.imageInfPersistent(rows_1)
                except:
                    print('文件下载失败')
            #持久化图片组信息
            rows_2 = {
                'groupid':item['group_id'],
                'grouptitle':item['groupTitle'],
                'groupdesc':item['abstract'],
                'path':'toutiao/images/'+item['group_id'],
                'createTime':strTime
            }
            self.imgGroupPersistent(rows_2)



    #mysql数据库持久化
    def mysqlPersistent(self,tableName,data):
        db = pymysql.connect(host='localhost', user='root', password='admin', port=3306, db='test')
        cursor = db.cursor()
        try:
            columns = ','.join(data.keys())
            values = ','.join(['%s'] * len(data))
            sql =  'insert into {table}({keys}) VALUES ({values}) '.format(table=tableName, keys=columns, values=values)
            cursor.execute(sql, tuple(data.values()))
            db.commit()
        except:
            db.rollback()
        finally:
            db.close()

    #持久化图片组信息
    def imgGroupPersistent(self,groupDict):
        #图组信息表：组id、组标题、组简介、本地存储路径、创建时间
       self.mysqlPersistent('imageGroup',groupDict)

    #持久化图片信息
    def imageInfPersistent(self,imageInfDict):
        #图片信息表：图片id、来源地址、简介、所属组id
        self.mysqlPersistent('imageInfo', imageInfDict)

    #创建表
    def createImgTable(self):
        sql_imgGroup= 'create table imageGroup(groupid varchar(50) primary key,grouptitle varchar(200)  ,groupdesc text,path varchar(500),createTime varchar(50))'
        sql_imgInf='create table imageInfo(imageId varchar(50) primary key,imagesource varchar(200) ,imageName varchar(100),imageDesc text,groupid varchar(50) )'
        db = pymysql.connect(host='localhost', user='root', password='admin', port=3306, db='test')

        cursor = db.cursor()
        try :
            cursor.execute(sql_imgGroup)
            cursor.execute(sql_imgInf)
        except:
            print('表创建失败！')
        finally:
            cursor.close()

    #删除表
    def dropImgTables(self):
        sql_dropImageGroup = ' drop table if exists  imageGroup '
        sql_dropImageInfo = '  drop table if exists   imageInfo '
        db = pymysql.connect(host='localhost', user='root', password='admin', port=3306, db='test')

        cursor = db.cursor()
        try:
            cursor.execute(sql_dropImageGroup)
            cursor.execute(sql_dropImageInfo)
        except:
            print('表删除失败！')
        finally:
            cursor.close()


if __name__=='__main__':
    deep=TouTiaoDeep()
    deep.dropImgTables()#删除表
    deep.createImgTable()#创建表
    #print(deep.getImgDict())
    for i in range(0,10*20,10):
        deep.imagesDownLoad(i)
    #deep.createImgTable()

操作后结果：注意，由于图片url拼接不能完全百分百正确，因此抓取数据会因为图片地址错误报异常；