// 其中用到了,区分是浏览器还是网络爬虫访问的功能,主要实现代码如下:
主要就是判断$_SERVER['HttP_USEr_AGENT'];里面的内容有没有爬虫的标志
function isCrawler() { $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']); $spiders = array( 'Googlebot', // Google 爬虫 'Baiduspider', // 百度爬虫 'Yahoo! Slurp', // 雅虎爬虫 'YodaoBot', // 有道爬虫 'msnbot' // Bing爬虫 // 更多爬虫关键字 ); foreach($spiders as $spider) { $spider = strtolower($spider); //查找有没有出现过 if(strpos($userAgent, $spider) !== false){ return $spider; } }