• 今天来做一个PHP电影小爬虫。


    今天来做一个PHP电影小爬虫。
    我们来利用simple_html_dom的采集数据实例,这是一个PHP的库,上手很容易。
    simple_html_dom 可以很好的帮助我们利用php解析html文档。通过这个php封装类可以很方便的解析html文档,对其中的html元素进行操作 (PHP5+以上版本)
    下载地址:https://github.com/samacs/simple_html_dom
    下面我们以 http://www.paopaotv.com 上的列表页 http://paopaotv.com/tv-type-id-5-pg-1.html 字母模式展现的列表为例,抓取页面上的列表数据,以及内容里面信息

     1 <?php
     2 include_once 'simple_html_dom.php';
     3 //获取html数据转化为对象
     4 $html = file_get_html('http://paopaotv.com/tv-type-id-5-pg-1.html');
     5 //A-Z的字母列表每条数据是在id=letter-focus 的div内class= letter-focus-item的dl标签内,用find方法查找即为 
     6 $listData=$html->find("#letter-focus .letter-focus-item");//$listData为数组对象
     7 foreach($listData as$key=>$eachRowData){
     8 $filmName=$eachRowData->find("dd span",0)->plaintext;//获取影视名称
     9 $filmUrl=$eachRowData->find("dd a",0)->href;//获取dd标签下影视对应的地址
    10 //获取影视的详细信息
    11 $filmInfo=file_get_html("http://paopaotv.com".$filmUrl);
    12 $filmDetail=$filmInfo->find(".info dl");
    13 foreach($filmDetail as $film){
    14 $info=$film->find("dd");
    15 $row=null;
    16 foreach($info as $childInfo){
    17 $row[]=$childInfo->plaintext;
    18 }
    19 $cate[$key][]=join(",",$row);//将影视的信息存放到数组中
    20 }
    21 }

    这样通过simple_html_dom,就可以将paopaotv.com影视列表中信息,以及影视的具体信息就抓取到了,之后你可以继续抓取影视详细页面上的视频地址信息,然后将该影视的所有信息都存放到数据库中。
    下面是simple_html_dom常用的属性以及方法:

     1 $html = file_get_html('http://paopaotv.com/tv-type-id-5-pg-1.html');
     2 $e = $html->find("div", 0);
     3 //标签
     4 $e->tag;
     5 //外文本
     6 $e->outertext;
     7 //内文本
     8 $e->innertext;
     9 //纯文本
    10 $e->plaintext;
    11 //子元素
    12 $e->children ( [int $index] );
    13 //父元素
    14 $e->parent ();
    15 //第一个子元素
    16 $e->first_child ();
    17 //最后一个子元素
    18 $e->last_child ();
    19 //后一个兄弟元素
    20 $e->next_sibling ();
    21 //前一个兄弟元素
    22 $e->prev_sibling ();
    23 //标签数组
    24 $ret = $html->find('a');
    25 //第一个a标签
    26 $ret = $html->find('a', 0);

     原文:http://www.cnblogs.com/blueel/p/3756446.html

  • 相关阅读:
    sublime text
    php 实例说明 socket通信机制
    nusaop 关于webService
    vim操作集合
    gitHud设置公钥
    redis在window安装并启动
    百度云api 添加标注
    微信小程序bindTap获取对应值
    Java导出excel表
    linux 常用命令
  • 原文地址:https://www.cnblogs.com/xuesen1995/p/4803746.html
Copyright © 2020-2023  润新知