实现爬虫的步骤
1.分析获得目标url
解析response的压缩方式，以下两种方法
＊ response.info() -> 看Content-Encoding
＊ 如果有chrome或者safri －》 打开浏览器工具－》network－》response查看charset。header中查看Content-Encoding。
根据得到的encoding和charset来解压缩和解码网页内容。
2.找到翻页的控件值。可用其他能够遍历所有目标网页的空间替代。必须唯一，方便正则匹配。
正则相关：.*? 非贪婪匹配。a.*?b －》 a到最近的b之间的字符。
2.保存图片到本地
注意事项：有些网站有反爬虫机制。
手段：
1. 自动切换user agent。
2. 自动切换ip。
3.多线程
4. 用现成的爬虫框架
python解析网页的库：beautiful soap
爬虫框架：pyspider，scrapy等