python网络数据抓取二（bing图片抓取）

　　上一回尝试抓取了百度热点数据，这次继续选择利用bing搜索抓取图片练习下，代码放在最下供大家参考。程序需要传入三个参数，图片关键词、图片保存路径、需要抓取的数量。运行过程中可能会有一些错误(大部分的是网络错误，比如超时等）我这里捕获到只打印出来然后跳过。代码中翻页的url请求是抓包获取到的（没有写全，有几个参数不知道什么意思去掉了..），然后就是分析返回的html提取想要的数据。下面是我运行的一次结果供参考：

 结果：

源码：

# -*- coding: UTF-8 -*-

from bs4 import BeautifulSoup
import urllib.request
import requests
import time
import json
import sys
import re
import os


#爬取目标网站url
CRAWL_TARGET_URL = 'https://cn.bing.com/images/async?q=%s&first=%d&count=%d&relp=%d&lostate=r&mmasync=1'

#每次抓取图片数量(35是此网页每次翻页请求数量)
NUMS_PER_CRAWL = 35

#抓取图片最小大小(单位字节)，小于此值抛弃
MIN_IMAGE_SIZE = 50000


def get_image(url, path, count):
    try:
        u = urllib.request.urlopen(url, timeout=5)
        t = u.read()
        if sys.getsizeof(t) < MIN_IMAGE_SIZE:
            return -1
    except Exception as e:
        print(url, e)
        return -2
    #提取图片格式
    frmt = url[url.rfind('.'):]
    p = re.compile("^\.[a-zA-Z]+")
    m = p.match(frmt)
    frmt = m.group(0)
    try:
        f = open(os.path.join(path, str(count)+frmt), 'wb')
        f.write(t)
        f.close()
    except Exception as e:
        print(os.path.join(path, str(count)+frmt), e)
        return -3
    return 0


def crawl_data(info, path, num):
    first = 0
    count = 0
    #创建一个会话
    s = requests.Session()
    while(count < num):
        u = CRAWL_TARGET_URL%(info, first, NUMS_PER_CRAWL, NUMS_PER_CRAWL)
        #3.05s为发送超时时间，10s为接收到数据超时时间
        req = s.get(url =u, timeout=(3.05, 10))
        bf = BeautifulSoup(req.text, "html.parser")
        imgtags = bf.find_all("a", class_ = "iusc")
        for e in imgtags:
            if count == num:
                return
            urldict = json.loads(e.get('m'))
            if get_image(urldict["murl"], path, count) < 0:
                continue
            print("第%d张图片下载完成，总进度%d%%"%(count+1, (count+1)*100/num))
            sys.stdout.flush()
            count =count+1
            time.sleep(0.01)
        first = first + NUMS_PER_CRAWL
        time.sleep(0.1)


'''
    参数1：搜索关键词
    参数2：图片存放路径
    参数3：抓取数量
'''
if __name__ == '__main__':
    tstart = time.time()
    crawl_data(sys.argv[1], sys.argv[2], int(sys.argv[3]))
    print("所有图片下载完毕，总用时%.2fs"%(time.time()-tstart))