6年驾龄，用Python爬取高清妹子图！

 

写在前面

本司机在网页上看到一个图片网站，网站的尺度是这样的：^_^

 

里面的美女美的不可描述啊，而且漏骨而不露点，可以说是宅男的福利了。

一时兴起，决定将网站上的图片打包下来研究研究。正好最近在研究python，所以决定用这个抓取图片存到本地，将图片url存到 mongodb以防止以后用。

哈哈~（原谅小编笑出了猪叫声）

---

爬虫初识

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。

要学习Python爬虫，我们要学习的共有以下几点：

1. Python基础知识
2. Python中urllib和urllib2库的用法
3. Python正则表达式
4. Python爬虫框架Scrapy
5. Python爬虫更高级的功能
6. 当然，我们今天暂时不需要使用框架进行爬取，只用urllib2等库进行操作。其它的一些关于爬虫的一些基本信息，可以在这位大神的博客中学习到。学习爬虫点我。

开始爬取

确定URL开始抓取

1、我们以 http://www.zngirls.com/rank/sum/ 为起始页面进行爬取，打开网页后右键查看源代码。

打开这个url后，如图1。我们需要关心的是红色链接的内容。

图一

2、这个如何查找呢?如果你用的是360浏览器，在MM图片那右击，选择“审查元素”。之后就可以查看到点击MM头像后跳转的url地址和MM头像的url地址 。如图2：

图二

3、现在还是没有看到写真的图片，我们点击MM的头像，进入到了下图的页面http://www.zngirls.com/girl/21751/ 可以看到如图3这个页面也没有写真的具体图片，只是写真的封面集合。不急，我们继续点击封面。

图三

4、点击封面后，http://www.zngirls.com/g/19671/1.html 进入的页面就可以看到写真的具体图片了。这时我们就可以爬取图片地址了。当然，这个也是分页的，所以也需要获取一共多少页以及每一页的url。

图四

代码编写

从上面的步骤我们整理一下思路，大概分为以下三部：

• 1、第一步 从 http://www.zngirls.com/rank/sum/ 开始抓取MM点击头像的链接(注意是分页的)
• 2、第二部 从 http://www.zngirls.com/girl/21751/ 抓取每一个写真集合的链接(注意是分页的)
• 3、第三部 从 http://www.zngirls.com/g/19671/1.html 在写真图片的具体页面抓取图片(注意是分页的)

1. 从起始页面 http://www.zngirls.com/rank/sum/ 开始首选先获取分页的页数以及每一页的url，方便下一步获取点击MM获取专辑url地址。接着解析每一页的html，获取每一页中点击MM头像后跳转的专辑集合页面。

代码1

2. 从mmRankitem方法中获取到的url中解析每一个MM写真专辑图片的具体地址，也就是写真图片列表的页面。

代码2

3. 从每一页中获取图片的url，已经每一张图片的名称，方便下一步进行下载。

代码3

4 .获取每张图片的url，可每张照片的名称，然后下载到本地。

代码4

5. 执行完毕后(时间可能会比较长)，就可以在文件夹里面看到一张一张的图片都下载完毕。再这里注意的是防止出现反爬虫，可以用设置header或者代理等方式。

图5

没有设置一些header等参数时，有时会出现如下这种情况，这种情况应该是网站有反爬虫的机制。

 

写在最后

不知道看完文章的你是否也手痒痒了呢？小编提供项目源码哦~

有了源码小白也能做到！

加油加油！！！！