使用教程——单页面采集
当前版本
测试版
单页面采集
功能
采集单个页面。单个页面是指：一个页面中只包含一条采集信息的页面，例如文章详情页面，一个url对应一篇文章信息。
使用
打开“配置中心” > “新建爬虫” > “单页面类型” 菜单，进入爬虫配置界面：
基本配置：
| 项 | 是否必填 | 说明 | 示例 |
|---|---|---|---|
| 爬虫名字 | 是 | 任意字符，不可与以有的爬虫名称重复 | 微信文章爬虫 |
| 采集源 | 是 | 采集的网站名称 | 微信 |
| 源页面 | 是 | 要采集的源链接，必须为规范的url | https://baidu.com |
| 匹配开头 | 是 | 以该值开头的链接才会被采集 | https://baidu.com |
| 最大采集量 | 是 | 单个爬虫最大支持采集量为10000 | 500 |
| 线程数 | 是 | 一个爬虫所启用的线程数，最大值为3 | 1 |
| 允许JS | 否 | 启用JS可以采集动态网页，但是采集速度将会变慢，默认不启用 | 不启用 |
| 描述 | 否 | 任意值，对爬虫的表述 | 这是一个微信文章爬虫 |
基本配置完成后，点击“下一步”进行采集规则配置。
配置规则：
| 项 | 是否必填 | 说明 | 示例 |
|---|---|---|---|
| 字段code | 是 | 采集字段唯一标识，同一个爬虫中的字段code不可重复 | title |
| 字段标题 | 是 | 采集字段唯的名称 | 文章标题 |
| 采集规则 | 是 | 采集规则，使用css选择器，很重要。 | .div > .title |
| 采集类型 | 是 | TEXT：采集文本内容，HTML：采集HTML内容，ATTR：采集属性值，当选择ATTR时，下面的属性值必填 | TEXT |
| 属性值 | 否 | 当采集类型为ATTR时必填，其他情况不填 | href |
| 非空字段 | 否 | 是否为非空字段，若是，则当该字段为空时，数据将不会被保存 | 否 |
| 去重字段 | 否 | 是否是去重字段，若是则会更具该字段进行去重，重复的数据将不会被保存 | 否 |
采集规则配置说明：
目前使用css选择器的方式来定位html元素，所以可以使用浏览器自带的检查元素功能来快速找到css选择器路径（以谷歌浏览器为例）
比例如需要采集csdn博客首页的文章：
在需要采集的链接上右键，选择“检查”：
然后浏览器自动定位到所选元素，再右键“copy” -> “copy selector”
在将复制的内容粘贴到“采集规则”输入框即可。
配置完成
采集规则配置完成后，点击“下一步”，选择“保存”或者“启动爬虫”。“保存”将不会启动爬虫，需要在“数据采集” > “状态管理” 中找到刚配置的爬虫，点击“启动”。