• 火车头数据采集工具


    这几天由于业务需要接触到了数据采集,用的是火车采集器,官网:http://www.locoy.com/baidu/index?baidu

    这里以8.0版本作演示,闲话就不多说了,首先,你看到的界面是这样的:

    当然,第一次使用的话,左边这些列表是没有的,这是项目需要自建的任务列表。那么,现在从头开始介绍怎么操作吧。

    1.新建任务

    左边空白处右键--->新建分组

    然后列表里多了一个任务组(这里以测试分组为例),接下来你可以继续在这个文件夹下继续建立分组或者直接新建任务(根据需要)

    2.编辑任务

    其实就是你新建任务之后的界面,任务名自定义:

    接下来就是该工具数据采集的重点了,拿个小本记一下!!!

    2.1采集网址规则(列表页)

    看到第一步右边的添加了没,点击添加:

    这里的网址规则分两种,一是单页网址,二是分页网址,举个栗子:

    我要采集这个网站科技论文栏目下的所有文章,由于文章数目比较多,那么稳扎列表页也是有很多的,比如一个列表页有10篇文章:

    http://www.XXXXX.com/tdkj/index.shtml;
    http://www.XXXXX.com/tdkj/index_2.shtml;
    http://www.XXXXX.com/tdkj/index_3.shtml;
    http://www.XXXXX.com/tdkj/index_4.shtml;
    http://www.XXXXX.com/tdkj/index_5.shtml;
    http://www.XXXXX.com/tdkj/index_6.shtml;
    http://www.XXXXX.com/tdkj/index_7.shtml;
    http://www.XXXXX.com/tdkj/index_8.shtml;
    http://www.XXXXX.com/tdkj/index_9.shtml;

    这里有10个文章列表页,很显然,他们的地址规则是分两种风格的:第一页和其他九页;

    对于第一种风格,当然是选择"单条网址"(下面就不打码了):

    对于第二种风格:

    这样,文章列表页网址就全部拿到了,那么,怎么从这些文章列表页获取具体的文章页面链接呢?

    2.2采集网址规则(内容页)

    我们来看一下文章列表页的html结构(拿刚才的首页作栗子):

    考虑到博客页面的整体宽度,以及两张图共一排对比的必要性,我将图缩小了,其实你也没必要看清图中的

    具体文字,你只要根据上图体会一下,该html的结构即可;

    毋庸置疑,每篇文章的具体内容页链接就在这个标题中了,不信你看:

    很显然我们要从DOM结构中获取这些内容页链接,那么就涉及到获取规则的写法了,请看:

    选择添加或者修改(如果你之前就有规则的话):

    箭头从上到下,从左到右,需要注意的是,虽然工具给我们自动生成了规则,但工具毕竟是工具,他自动填充的规则通常都是不靠谱的!!!

    那就需要我们自己分析规则了:

    我们要获取所有<div class="newslist"> </div>里面的链接,这里就要注意了,工具是死的,所以你只能给他下死命令!!!

    因此,这里的规则妍写成从<div class="newslist"> 到 <p id="pages">,只有这样,工具才会从上面的区域查找链接。

    下面我们继续,已经知道从哪个区域找链接,接下来就是找哪种链接了,这时候你要瞄一下,所有详情页文章链接长什么样,比如:

    在列表页鼠标放到文章标题上你就可以看到了(恕我啰嗦),然后你大概扫了一下,发现所有列表页的文章详情页链接差不多像下

    面这样:

    http://www.chnrailway.com/news/20090606/0606326101.html
    http://www.chnrailway.com/html/18-03-12/23-45-78.shtml
    http://www.chnrailway.com/rail/show-9875756/78-78.html

    那么你应该可以写出规则了:

    http://www.chnrailway.com/(*)/(*)/(*).(*)html

    这样一来,详情页的链接你也拿到了,接下来就是设置详情页内容的获取规则了。

    2.3采集内容规则(详情页内容规则)

    看到没有,在这里可以设置标题、内容以及其他的数据获取来源,我们先拿标题来看:

    我把右边这块放大:

    很显然,这个标题要从DOM结构的<h1>  </h1>中拿,具体要根据html来判断,毕竟不同网站的html风格不同,于是就将这个规则填入标题

    获取的规则里,同理,文章内容规则也是一样,给出一张图,自己琢磨吧。

    2.4测试规则

    测试就是说,看看自己之前写的规则能不能采集到源网站数据。

    点击任意加号,找到一个详情页,然后右边"测试该页":

    如果可以获取到你想要的数据,那么说明你之前写的规则是正确的!!!

    2.5发布内容设置

    数据采集好了,当然要发布到目标网站啊,那么:

    这个发布配置可以自定义配置的(我们点开WEB发布配置管理):

    这些都是根据你要发布的网站而定的。

    至于最后一项:文件保存以及部分高级设置,可以不作任何修改,如果你有兴趣,请自行研究。

    所有的规则、配置都写好并测试无误之后,你的这项采集任务可以说是完成了,那么接下来就是,执行任务了:

    这三个复选框分别表示:采网址、采内容、发布,如果你已经全选了,那么

    右键这条任务,开始任务,他就开始采集数据并上传数据了,根据数据量的多少,任务执行的时间也会不同哦~~~

  • 相关阅读:
    SSM项目搭建(提供源码)
    U盘启动安装linux时卡在“starting dracut initqueue hook”
    nginx 中只能访问根目录,无法访问路由(404)
    在多GPU情况下TensorFlow如何指定在哪些GPU上运行程序
    TensorFlow只训练部分参数
    python中的随机数函数
    Python中读取、显示和保存图片的方法
    神经网络中参数数量的计算
    排序算法
    window Linux 双系统安装
  • 原文地址:https://www.cnblogs.com/eco-just/p/9276964.html
Copyright © 2020-2023  润新知