• php 判断是否为搜索引擎蜘蛛 转载


    /**
    *    判断是否为搜索引擎蜘蛛
    *
    *    @author    Eddy
    *    @return    bool
    */
    function isCrawler() {
            $agent= strtolower($_SERVER['HTTP_USER_AGENT']);  
            if (!empty($agent)) {                 
                    $spiderSite= array(
                            "TencentTraveler",
                            "Baiduspider+",
                            "BaiduGame",
                            "Googlebot",
                            "msnbot",
                            "Sosospider+",
                            "Sogou web spider",
                            "ia_archiver",
                            "Yahoo! Slurp",
                            "YoudaoBot",
                            "Yahoo Slurp",
                            "MSNBot",
                            "Java (Often spam bot)",
                            "BaiDuSpider",
                            "Voila",
                            "Yandex bot",
                            "BSpider",
                            "twiceler",
                            "Sogou Spider",
                            "Speedy Spider",
                            "Google AdSense",
                            "Heritrix",
                            "Python-urllib",
                            "Alexa (IA Archiver)",
                            "Ask",
                            "Exabot",
                            "Custo",
                            "OutfoxBot/YodaoBot",
                            "yacy",
                            "SurveyBot",
                            "legs",
                            "lwp-trivial",
                            "Nutch",
                            "StackRambler",
                            "The web archive (IA Archiver)",
                            "Perl tool",
                            "MJ12bot",
                            "Netcraft",
                            "MSIECrawler",
                            "WGet tools",
                            "larbin",
                            "Fish search",
                    );   
                    foreach($spiderSite as $val) {                        
                            $str = strtolower($val);
                            if (strpos($agent, $str) !== false) {
                                    return true;
                            }                        
                    }   
            } else {
                    return false;
            } 
    }
  • 相关阅读:
    解决Tomcat9打印台乱码问题
    分治思想与归并排序
    linux下libuv库安装教程
    Linux init
    栈和堆上的内存分配和回收
    Python帮助文档中Iteration iterator iterable 的理解
    Qt基本框架介绍
    PyQt5+Python3.5.2-32bit开发环境搭建
    常用网站
    [Repost]Events and Signals in PyQt4
  • 原文地址:https://www.cnblogs.com/ly312/p/2120739.html
Copyright © 2020-2023  润新知