蜘蛛爬虫类程序抓取有防盗链的网站处理 php和wget命令简单破解防盗链网站的功能

一般防盗链措施都是判断访问来路，也就是referer，这种防盗链措施只对转载/转贴有效，对于采集程序来讲，referer很容易伪造。下面简单介绍一下使用wget和php脚本采集有防盗链措施网站的图片。

 

1、使用wget

wget是linux下非常好用的下载工具， --help可以看到提供了大量的参数，可以很方便自定义下载，伪造来路的参数是： -E --referer，如采集www.xxx.com/logo.gif文件，完整的命令行是：

wget -E --referer http://www.xxx.com/ http://www.xxx.com/logo.gif

第一个网址是referer的参数表示从xxx.com来路访问的，后面的网址表示要下载的文件

 

（注：--help和--referer前面是两个-，wp把两个-自动转换成一个-了）

 

2、使用PHP脚本，可以使用file_get_contents函数，启用第三个参数，具体代码如下：

PHP Code

复制内容到剪贴板

1. <?php  
2. $context_options = array(  
3. 'http' =>  
4. array(  
5. 'method' => "GET",  
6. 'header' => "User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.5.21022; .NET CLR 3.0.04506; CIBA) Accept:*/* Referer:http://www.xxx.com/",  
7. ));  
8.   
9. $context = stream_context_create($context_options);  
10. $img = file_get_contents("http://www.xxx.com/logo.gif",FALSE,$context);  
11. file_put_contents("1.jpg",$img);  

当然php还有很多方法可以破解，比如利用curl或snoopy类都是可以的。

1、php解决网站被爬虫采集的初步解决方案

   

推荐被允许的爬虫
1.百度爬虫 Baiduspider+
例：220.181.108.87 – - [08/Oct/2010:09:45:25 +0800] “GET /cityjob/show/43885979 HTTP/1.1″ 200 4281 “-” “Baiduspider+(+http://www.baidu.com/search/spider.htm)” -
2.google adsense爬虫 “Mediapartners-Google”
例：203.208.60.227 – - [08/Oct/2010:09:45:25 +0800] “GET /cityjob/show/43427627 HTTP/1.1″ 200 3282 “-” “Mediapartners-Google” -
推荐禁止的爬虫
php程序

$url = @$_SERVER['HTTP_HOST'];
if(
strpos($_SERVER["HTTP_USER_AGENT"],'HPPrint') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Indy') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'DigExt') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'MJ12bot') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'WukongSpider') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'51Logon.com') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Sniffer') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Gecko/20100722') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'huaweisymantec') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'Speedy Spider') === false
&& strpos($_SERVER["HTTP_USER_AGENT"],'psbot/0.1') === false
{

}else{

Header("Location: http://127.0.0.1/");
exit;
}

 

2、PHP抓取网页、采集网页的利器：Snoopy（史努比）

   

Snoopy下载地址 source地址：http://sourceforge.net/projects/snoopy/ 

Snoopy是什么?

Snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。

 

Snoopy的一些特点:

 

* 方便抓取网页的内容

* 方便抓取网页的文本内容 (去除HTML标签)

* 方便抓取网页的链接

* 支持代理主机

* 支持基本的用户名/密码验证

* 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)

* 支持浏览器转向，并能控制转向深度

* 能把网页中的链接扩展成高质量的url(默认)

* 方便提交数据并且获取返回值

* 支持跟踪HTML框架(v0.92增加)

* 支持再转向的时候传递cookies (v0.92增加)

 

要想了解的更深入些，你自己Google一下吧。下面就给几个简单的例子：

 

1获取指定url内容

 

PHP代码

$url = "http://www.taoav.com"; 

include("snoopy.php"); 

$snoopy = new Snoopy; 

$snoopy->fetch($url); //获取所有内容 

echo $snoopy->results; //显示结果 

//可选以下 

$snoopy->fetchtext //获取文本内容（去掉html代码） 

$snoopy->fetchlinks //获取链接 

$snoopy->fetchform //获取表单 

2 表单提交

 

 

PHP代码

$formvars["username"] = "admin"; 

$formvars["pwd"] = "admin"; 

$action = "http://www.taoav.com";//表单提交地址 

$snoopy->submit($action,$formvars);//$formvars为提交的数组 

echo $snoopy->results; //获取表单提交后的 返回的结果 

//可选以下 

$snoopy->submittext; //提交后只返回 去除html的 文本 

$snoopy->submitlinks;//提交后只返回 链接 

既然已经提交的表单 那就可以做很多事情 接下来我们来伪装ip,伪装浏览器

 

 

 

3 伪装

 

PHP代码

$formvars["username"] = "admin"; 

$formvars["pwd"] = "admin"; 

$action = "http://www.taoav.com"; 

include "snoopy.php"; 

$snoopy = new Snoopy; 

$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid 

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器 

$snoopy->referer = "http://www.only4.cn"; //伪装来源页地址 http_referer 

$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息 

$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip 

$snoopy->submit($action,$formvars); 

echo $snoopy->results; 

 

原来我们可以伪装session 伪装浏览器 ，伪装ip， haha 可以做很多事情了。

例如 带验证码，验证ip 投票， 可以不停的投。

ps:这里伪装ip ，其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了，

反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。

关于如何验证码 ，简单说下：

首先用普通的浏览器， 查看页面 ， 找到验证码所对应的sessionid，

同时记下sessionid和验证码值，

接下来就用snoopy去伪造 。

原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。

 

4 有时我们可能需要伪造更多的东西,snoopy完全为我们想到了

 

PHP代码

$snoopy->proxy_host = "www.only4.cn"; 

$snoopy->proxy_port = "8080"; //使用代理 

 

$snoopy->maxredirs = 2; //重定向次数 

 

$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到 

// 例如链接为 /images/taoav.gif 可改为它的全链接 upload/200905122353246022.gif，这个地方其实可以在最后输出的时候用ereg_replace函数自己替换 

 

$snoopy->maxframes = 5 //允许的最大框架数 

 

 

//注意抓取框架的时候 $snoopy->results 返回的是一个数组 

 

$snoopy->error //返回报错信息 

 

上面的基本用法了解了，下面我就实例演示一次：

 

 

 

PHP代码

<? 

//echo var_dump($_SERVER); 

include("Snoopy.class.php"); 

$snoopy = new Snoopy; 

$snoopy->agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5 FirePHP/0.2.1";//这项是浏览器信息，前面你用什么浏览器查看cookie，就用那个浏览器的信息(ps:$_SERVER可以查看到浏 览器的信息) 

$snoopy->referer = "http://bbs.phpchina.com/index.php"; 

$snoopy->expandlinks = true; 

$snoopy->rawheaders["COOKIE"]="__utmz=17229162.1227682761.29.7.utmccn=(referral)|utmcsr=phpchina.com|utmcct=/html/index.html|utmcmd=referral; cdbphpchina_smile=1D2D0D1; cdbphpchina_cookietime=2592000; __utma=233700831.1562900865.1227113506.1229613449.1231233266.16; __utmz=233700831.1231233266.16.8.utmccn=(referral)|utmcsr=localhost:8080|utmcct=/test3.php|utmcmd=referral; __utma=17229162.1877703507.1227113568.1231228465.1231233160.58; uchome_loginuser=sinopf; xscdb_cookietime=2592000; __utmc=17229162; __utmb=17229162; cdbphpchina_sid=EX5w1V; __utmc=233700831; cdbphpchina_visitedfid=17; cdbphpchinaO766uPYGK6OWZaYlvHSuzJIP22VpwEMGnPQAuWCFL9Fd6CHp2e%2FKw0x4bKz0N9lGk; xscdb_auth=8106rAyhKpQL49eMs%2FyhLBf3C6ClZ%2B2idSk4bExJwbQr%2BHSZrVKgqPOttHVr%2B6KLPg3DtWpTMUI4ttqNNVpukUj6ElM; cdbphpchina_onlineusernum=3721"; 

$snoopy->fetch("http://bbs.phpchina.com/forum-17-1.html"); 

$n=ereg_replace("href="","href="http://bbs.phpchina.com/",$snoopy->results ); 

echo ereg_replace("src="","src="http://bbs.phpchina.com/",$n); 

?> 

这 是模拟登陆PHPCHINA论坛的过程，首先要查看自己浏览器的信息：echo var_dump($_SERVER);这句代码可以看到自己浏览器的信息，把 $_SERVER['HTTP_USER_AGENT']后边的内容复制下来，粘在$snoopy->agent的地方，然后就是要查看自己的 COOKIE了，用自己在论坛的账号登陆论坛后，在浏览器地址栏里输入 javascript:document.write(document.cookie)，回车，就可以看到自己的cookie信息，复制粘贴 到$snoopy->rawheaders["COOKIE"]=的后边。（我的cookie信息为了安全起见已经删除了一段内容）

 

snoopy是一个php类，用来模仿web浏览器的功能，它能完成获取网页内容和发送表单的任务。

下面是它的一些特征：

1、方便抓取网页的内容

2、方便抓取网页的文字（去掉HTML代码）

3、方便抓取网页的链接

4、支持代理主机

5、支持基本的用户/密码认证模式

6、支持自定义用户agent,referer,cookies和header内容

7、支持浏览器转向，并能控制转向深度

8、能把网页中的链接扩展成高质量的url（默认）

9、方便提交数据并且获取返回值

10、支持跟踪HTML框架（v0.92增加）

11、支持再转向的时候传递cookies

12、支持sock

类属性: (缺省值在括号里)

$host 连接的主机

$port 连接的端口

$proxy_host 使用的代理主机，如果有的话

$proxy_port 使用的代理主机端口，如果有的话

$agent 用户代理伪装 (Snoopy v0.1)

$referer 来路信息，如果有的话

$cookies cookies， 如果有的话

$rawheaders 其他的头信息, 如果有的话

$maxredirs 最大重定向次数， 0=不允许 (5)

$offsiteok whether or not to allow redirects off-site. (true)

$expandlinks          是否将链接都补全为完整地址 (true)

$user 认证用户名, 如果有的话

$pass 认证用户名, 如果有的话

$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)

$error 哪里报错, 如果有的话

$response_code 从服务器返回的响应代码

$headers 从服务器返回的头信息

$maxlength 最长返回数据长度

$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)

设置为0为没有超时

$timed_out 如果一次读取操作超时了，本属性返回 true (requires PHP 4 Beta 4+)

$maxframes 允许追踪的框架最大数量

$status 抓取的http的状态

$temp_dir 网页服务器能够写入的临时文件目录 (/tmp)

$curl_path cURL binary 的目录, 如果没有cURL binary就设置为 false

类方法:

fetch($URI)

-----------

这是为了抓取网页的内容而使用的方法。

$URI参数是被抓取网页的URL地址。

抓取的结果被存储在 $this->results 中。

如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this->results。

 

fetchtext($URI)

---------------

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。

 

fetchform($URI)

---------------

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。

 

fetchlinks($URI)

----------------

本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。

默认情况下，相对链接将自动补全，转换成完整的URL。

 

submit($URI,$formvars)

----------------------

本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。

 

 

submittext($URI,$formvars)

--------------------------

本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。

 

submitlinks($URI)

----------------

本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。

默认情况下，相对链接将自动补全，转换成完整的URL。

 

 

例子:

<?php

//author:华夏之星   QQ:1019822077

include "Snoopy.class.php";

$url = "http://hi.baidu.com/woaidelphi/blog";//华夏之星博客

$snoopy = new Snoopy;

$snoopy->fetchtext($url);//抓取内容（去掉html代码） 

#$snoopy->fetchlinks($url);//抓取链接

#$snoopy->fetchform($url); //获取表单 

print_r($snoopy->results);打出结果

 

/******************************表单提交****************************/

$submit_url = "http://www.baidu.com/index.php";//提交页面

$formvars["wd"] = "QQ:1019822077";//搜索的词

$snoopy->submit($submit_url,$formvars);

print_r($snoopy->results);//获取表单提交后的 返回的结果   

# $snoopy->submittext; //提交后只返回 去除html的 文本 

# $snoopy->submitlinks;//提交后只返回 链接 

 

/******************************来伪装ip,伪装浏览器****************************/

$formvars["username"] = "admin"; 

$formvars["pwd"] = "admin"; 

$action = "http://www.taoav.com"; //提交页面 

$snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid 

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器 

$snoopy->referer = http://www.php100.com; //伪装来源页地址 http_referer 

$snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息 

$snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip 

$snoopy->submit($action,$formvars); 

echo $snoopy->results; 

 

原来我们可以伪装session 伪装浏览器 ，伪装ip， haha 可以做很多事情了。

例如 带验证码，验证ip 投票， 可以不停的投。

ps:这里伪装ip ，其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了，

反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。

关于如何验证码 ，简单说下：

首先用普通的浏览器， 查看页面 ， 找到验证码所对应的sessionid，

同时记下sessionid和验证码值，

接下来就用snoopy去伪造 。

原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。

有时我们可能需要伪造更多的东西,snoopy完全为我们想到了 

 

$snoopy->proxy_host = "www.php100.com"; 

$snoopy->proxy_port = "8080"; //使用代理 

$snoopy->maxredirs = 2; //重定向次数 

$snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到 

// 例如链接为 /images/taoav.gif 可改为它的全链接 http://www.taoav.com/images/taoav.gif 

$snoopy->maxframes = 5 //允许的最大框架数 

//注意抓取框架的时候 $snoopy->results 返回的是一个数组 

$snoopy->error //返回报错信息 

 

 

 

 

 

 

 

 

例子: 抓取一个页面并显示他的头信息和页面内容 (去掉HTML标签的页面):

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$snoopy->user = "joe";

$snoopy->pass = "bloe";

 

if($snoopy->fetch("http://www.slashdot.org/"))

{

echo "response code: ".$snoopy->response_code."<br> ";

while(list($key,$val) = each($snoopy->headers))

echo $key.": ".$val."<br> ";

echo "<p> ";

 

echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE> ";

}

else

echo "error fetching document: ".$snoopy->error." ";

 

 

 

例子: 提交一个表单并且打印出头信息和去掉HTML标签的页面:

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$submit_url = "http://lnk.ispi.net/texis/scripts/msearch/netsearch.html";

 

$submit_vars["q"] = "amiga";

$submit_vars["submit"] = "Search!";

$submit_vars["searchhost"] = "Altavista";

 

 

if($snoopy->submit($submit_url,$submit_vars))

{

while(list($key,$val) = each($snoopy->headers))

echo $key.": ".$val."<br> ";

echo "<p> ";

 

echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE> ";

}

else

echo "error fetching document: ".$snoopy->error." ";

 

 

 

例子: 展示所有属性的功能:

 

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$snoopy->proxy_host = "my.proxy.host";

$snoopy->proxy_port = "8080";

 

$snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)";

$snoopy->referer = "http://www.microsnot.com/";

 

$snoopy->cookies["SessionID"] = 238472834723489l;

$snoopy->cookies["favoriteColor"] = "RED";

 

$snoopy->rawheaders["Pragma"] = "no-cache";

 

$snoopy->maxredirs = 2;

$snoopy->offsiteok = false;

$snoopy->expandlinks = false;

 

$snoopy->user = "joe";

$snoopy->pass = "bloe";

 

if($snoopy->fetchtext("http://www.phpbuilder.com"))

{

while(list($key,$val) = each($snoopy->headers))

echo $key.": ".$val."<br> ";

echo "<p> ";

 

echo "<PRE>".htmlspecialchars($snoopy->results)."</PRE> ";

}

else

echo "error fetching document: ".$snoopy->error." ";

 

 

例子: 抓取框架内容并展示结果：

 

include "Snoopy.class.php";

$snoopy = new Snoopy;

 

$snoopy->maxframes = 5;

 

if($snoopy->fetch("http://www.ispi.net/"))

{

echo "<PRE>".htmlspecialchars($snoopy->results[0])."</PRE> ";

echo "<PRE>".htmlspecialchars($snoopy->results[1])."</PRE> ";

echo "<PRE>".htmlspecialchars($snoopy->results[2])."</PRE> ";

}

else

echo "error fetching document: ".$snoopy->error." ";

 

3、PHP 使用 CURL 同步抓取多个网页

   

一般CURL 抓网页的方法， 是一页一页抓， 假设要抓 4页， 所费时间各别是 5,10,7,5 秒， 那全部总合所花的时间就是 5 + 10 + 7 + 5 = 27 秒。

若能同时间去抓取多个网页， 所花费的时间 5,10,7,5 秒， 全部总合所花的时间是 10 秒。（花费最多时间的秒数）

于JavaScript 可使用 AJAX 的 async（YAHOO.util.Connect.asyncRequest）来达成， 于 PHP 可以用 CURL 来达成此 Multi-Threading 的效果。

程序（async.php）

 

以下为引用的内容：

<?php

function async_get_url($url_array, $wait_usec = 0)

{

    if (!is_array($url_array))

        return false;

 

    $wait_usec = intval($wait_usec);

 

    $data    = array();

    $handle  = array();

    $running = 0;

 

    $mh = curl_multi_init(); // multi curl handler

 

    $i = 0;

    foreach($url_array as $url) {

        $ch = curl_init();

 

        curl_setopt($ch, CURLOPT_URL, $url);

        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print

        curl_setopt($ch, CURLOPT_TIMEOUT, 30);

        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');

        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect

        curl_setopt($ch, CURLOPT_MAXREDIRS, 7);

 

        curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里

 

        $handle[$i++] = $ch;

    }

 

    /* 执行 */

    do {

        curl_multi_exec($mh, $running);

 

        if ($wait_usec > 0) /* 每个 connect 要间隔多久 */

            usleep($wait_usec); // 250000 = 0.25 sec

    } while ($running > 0);

 

    /* 读取资料 */

    foreach($handle as $i => $ch) {

        $content  = curl_multi_getcontent($ch);

        $data[$i] = (curl_errno($ch) == 0) ? $content : false;

    }

 

    /* 移除 handle*/

    foreach($handle as $ch) {

        curl_multi_remove_handle($mh, $ch);

    }

 

    curl_multi_close($mh);

 

    return $data;

}

?>

 

使用

 

以下为引用的内容：

<?php

$urls = array('http://example1.com', 'http://example2.com');

print_r(async_get_url($urls)); // [0] => example1, [1] => example2

?>

 

测试

sleep.php # 看时间延长取得的效果

 

以下为引用的内容：

<?php

sleep(intval($_GET['time']));

echo intval($_GET['time']);

?>

 

 

以下为引用的内容：

<?php

$url_array = array(

        'http://example.com/sleep.php?time=5',

        'http://example.com/sleep.php?time=10',

        'http://example.com/sleep.php?time=7',

        'http://example.com/sleep.php?time=5',

        );

print_r(async_get_url($url_array));

// 总花费时间会是 10 秒, 并印出 [0] => 5, [1] => 10, [2] => 7, [3] => 5

?>