• PHP 解决nginx 用file_get_content 问题


    $my_curl = curl_init();    //初始化一个curl对象
    curl_setopt($my_curl, CURLOPT_URL, "http://www.webjoy.net");  //设置你需要抓取的URL
    curl_setopt($my_curl,CURLOPT_RETURNTRANSFER,1);  //设置是将结果保存到字符串中还是输出到屏幕上,1表示将结果保存到字符串
    $str = curl_exec($curl);    //执行请求
    echo $str;  //输出抓取的结果
    curl_close($curl);  //关闭url请求
    // 封装
    function curl_file_get_contents($url){
        $ch = curl_init();
        curl_setopt($ch, CURLOPT_URL, $url);
        curl_setopt($ch, CURLOPT_TIMEOUT, 5);
        curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);
        curl_setopt($ch, CURLOPT_REFERER,_REFERER_);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
        $r = curl_exec($ch);
        curl_close($ch);
        return $r;
    }


    <?php
    function HTTP_Post($URL,$data,$cookie, $referrer="")
    {
    // parsing the given URL
    $URL_Info=parse_url($URL);
    
    

    // Building referrer
    if($referrer=="") // if not given use this script as referrer
    $referrer="111″;

    
    

    // making string from $data
    foreach($data as $key=>$value)
    $values[]="$key=".urlencode($value);
    $data_string=implode("&",$values);

    
    

    // Find out which port is needed – if not given use standard (=80)
    if(!isset($URL_Info["port"]))
    $URL_Info["port"]=80;

    
    

    // building POST-request:
    $request.="POST ".$URL_Info["path"]." HTTP/1.1n";
    $request.="Host: ".$URL_Info["host"]."n";
    $request.="Referer: $referern";
    $request.="Content-type: application/x-www-form-urlencodedn";
    $request.="Content-length: ".strlen($data_string)."n";
    $request.="Connection: closen";

    
    

    $request.="Cookie: $cookien";

    
    

    $request.="n";
    $request.=$data_string."n";

    
    

    $fp = fsockopen($URL_Info["host"],$URL_Info["port"]);
    fputs($fp, $request);
    while(!feof($fp)) {
    $result .= fgets($fp, 1024);
    }
    fclose($fp);

    
    

    return $result;
    }
    ?>

     

    php中 curl, fsockopen ,file_get_contents 三个函数 都可以实现采集模拟发言 。三者有什么区别,或者讲究么

    赵永斌:
    有些时候用file_get_contents()调用外部文件,容易超时报错。换成curl后就可以.具体原因不清楚
    curl 效率比file_get_contents()和fsockopen()高一些,原因是CURL会自动对DNS信息进行缓存(亮点啊有我待亲测)

    范佳鹏:
    file_get_contents curl fsockopen
    在当前所请求环境下选择性操作,没有一概而论:
    具我们公司开发KBI应用来看:
    刚开始采用:file_get_contents
    后来采用:fsockopen
    最后到至今采用:curl

    (远程)我个人理解到的表述如下(不对请指出,不到位请补充)
    file_get_contents 需要php.ini里开启allow_url_fopen,请求http时,使用的是http_fopen_wrapper,不会keeplive.curl是可以的。
    file_get_contents()单个执行效率高,返回没有头的信息。
    这个是读取一般文件的时候并没有什么问题,但是在读取远程问题的时候就会出现问题。
    如果是要打一个持续连接,多次请求多个页面。那么file_get_contents和fopen就会出问题。
    取得的内容也可能会不对。所以做一些类似采集工作的时候,肯定就有问题了。
    sock较底层,配置麻烦,不易操作。 返回完整信息。

    潘少宁-腾讯:
    file_get_contents 虽然可以获得某URL的内容,但不能post get啊。
    curl 则可以post和get啊。还可以获得head信息
    而socket则更底层。可以设置基于UDP或是TCP协议去交互
    file_get_contents 和 curl 能干的,socket都能干。
    socket能干的,curl 就不一定能干了
    file_get_contents 更多的时候 只是去拉取数据。效率比较高 也比较简单。
    赵的情况这个我也遇到过,我通过CURL设置host 就OK了。 这和网络环境有关系

  • 相关阅读:
    汉语-词语:注重
    汉语-词语:解释
    汉语-词语:接受
    汉语-词语:专注
    汉语-词语:构想
    生物-植物-果树:枣树
    汉语-词语:维度
    汉语-词语:真传
    XML基础知识学习
    Java Swing界面编程(25)---事件处理:鼠标事件及监听处理
  • 原文地址:https://www.cnblogs.com/jackluo/p/4134436.html
Copyright © 2020-2023  润新知