Python 爬取网站资源文件

爬虫原理：

以下来自知乎解释

首先你要明白爬虫怎样工作。
想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。
在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。
突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。
好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

链接：http://www.zhihu.com/question/20899988/answer/24923424

1.爬取一个匿名可访问upload目录的网站

import re,os
import urllib.request
import urllib
import ssl

ssl._create_default_https_context = ssl._create_unverified_context

from collections import deque

queue = deque()
visited = set()

origurl=url = 'http://www.***.cn/Upload/'  # 入口页面, 可以换成别的
path = 'C:/Users/Administrator/Desktop/a/'

queue.append(url)
cnt = 0

while queue:
    url = queue.popleft()  # 队首元素出队

    print('已经抓取: ' + str(cnt) + '     正在抓取 <---    ' + url)
    cnt += 1
    try:
        urlop = urllib.request.urlopen(url, timeout=3)
    except:
        continue

    if 'image' in urlop.getheader('Content-Type'):
        xpath=url.replace(origurl,'')
        orig_list=xpath.split("/")
        orig_ext_file = orig_list[-1]
        path_sub = orig_list[:-1]
        new_path=path+('/'.join(path_sub))
        try:
            os.makedirs(new_path)
        except Exception as e:
            print(e)

        urllib.request.urlretrieve(url, new_path+'/'+orig_ext_file)

    if 'html' not in urlop.getheader('Content-Type'):
        continue

    # 处理异常
    try:
        data = urlop.read().decode('utf-8')
    except:
        continue

    # 正则表达 提取页面中所有队列, and判断or访问过, too加入待爬队列
    linkre = re.compile('href="(.+?)"')
    for x in linkre.findall(data):
        if re.match(r"?C=.", x):
            continue
        if re.match(r"/Upload/", x):
            continue

        if x not in visited:
            queue.append(url + x)
            visited |= {url}  # 标记为已访问
            print('加入队列 --->    ' + x)

2.抓取一个美图高清壁纸网站

import re
import urllib.request
import urllib
import ssl

ssl._create_default_https_context = ssl._create_unverified_context  # 取消ssl验证https://

from collections import deque

queue = deque()
visited = set()

website = 'http://www.***.com/'
website_column = 'column/'
url = website + website_column + '80827.html'  # 入口页面
path = './images/'

queue.append(url)  # 加入队列
cnt = 0
while queue:
    url = queue.popleft()  # 队首元素出队
    visited |= {url}  # 已访问

    print('已经抓取: ' + str(cnt) + '     正在抓取 <---    ' + url)
    cnt += 1
    try:
        urlop = urllib.request.urlopen(url, timeout=3)
    except:
        continue
    current_num_re = re.compile(r'/' + website_column + '(d+)/')
    current_num = current_num_re.findall(url)
    if url == website + website_column:
        continue
    if 'html' not in urlop.getheader('Content-Type'):
        continue

    # 处理异常
    try:
        data = urlop.read().decode('gbk')
    except:
        try:
            data = urlop.read().decode('utf-8')
        except:
            continue

    # 正则表达 提取页面中所有队列, and判断or访问过, too加入待爬队列
    linkre = re.compile('href="(.+?)"')
    inside1 = re.compile(r'/' + website_column + '(.*)')
    inside2 = re.compile(r'(d+).htm')

    for x in linkre.findall(data):
        if 'http' not in x and x not in visited:
            resulturl = ''
            c = inside1.findall(x)
            if c:
                resulturl = website + website_column + c[0]
            else:
                c = inside2.findall(x)
                if c:
                    cnum = ''
                    cnum = current_num[0] if current_num else ''
                    resulturl = website + website_column + cnum + '/' + c[0] + '.htm'

            if resulturl:
                queue.append(resulturl)
                print('加入队列 --->    ' + resulturl)

    linkrerr = re.compile('<p><img src="(.*)" onload="btnaddress(1);')
    src = linkrerr.findall(data)
    if src:
        print(src)
        req = urllib.request.Request(src[0], headers={
            'Connection': 'Keep-Alive',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
            'Referer': url
        })
        resource = urllib.request.urlopen(req, timeout=30)
        orig_list = src[0].split("/")
        orig_ext_file = orig_list[-1]
        path_sub = orig_list[:-1]
        # urllib.request.urlretrieve(src[0], path  + orig_ext_file)  #网站拒绝爬虫使用Referer 时， urlretrieve无法下载
        foo = open(path + orig_ext_file, "wb")
        str = resource.read()
        foo.write(str)
        foo.close()

参考地址： https://jecvay.com/2014/09/python3-web-bug-series1.html