爬虫-图片爬虫

什么是图片爬虫：所谓图片爬虫，就是从互联网中自动把对方服务器上的图片爬下来的爬虫程序。

淘宝图片爬虫实战：

网址:http://taobao.com/

 

import urllib.request

import re

headers = ("user-agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36")

opener = urllib.request.build_opener()

opener.addheader = [headers]

urllib.request.install_opener(opener)

keyname = '连衣裙'

key = urllib.request.quote(keyname)

for i in range(1,3):

　　url = 'https://s.taobao.com/list?q='+key+'&cat=16&style=grid&seller_type=taobao&spm=a217f.8051907.1000187.1&bcoffset=0&s='+str(i*60)

　　data = urllib.request.urlopen(url).read().decode('utf-8','ignore')

　　pat = '"pic_url":"//(.*?)'

　　imglist = re.compile(pat).findall(data)

　　print(imglist)

for j in range(0,len(imglist)):

　　thisname = imglist[j]

　　thisurl = 'http://'+thisname

　　file = 'D:/spider/urllib_crawler/taobaoimg/'+str(i)+str(j)+'jpg'

　　data = urllib.request.urlretrieve(thisurl,file)