title: 爬虫入门五 gooseeker
date: 2020-03-16 16:00:00
categories: python
tags: crawler
gooseeker是一个简单的爬虫软件。无需编程知识就可以使用。
1 简介
集搜客GooSeeker大数据软件开发始于2007年，2007年正是语义网络走向商用的时期，集搜客致力于提供一套便捷易用的软件，将网页内容进行语义标注和结构化转换。
GooSeeker是一个采用云计算架构的网页数据抽取工具包，能根据用户的指导，从网页上抓取需要的文本，并输出按一定结构输出提取结果文件（XML文件）
2 实例
因为是个工具软件，就直接采用实例学习。
2.1集搜客爬虫浏览器入门和基本术语
以京东商品的名称和价格为例。
复制目标页面到GS。
https://item.jd.com/100004770263.html，并打开
按下定义规则按钮。
此时GS分为原网页，dom窗口（展示网页结构），工作台。
在工作台，定义采集规则。
起一个主题名，然后查重。
然后双击原网页想要采集部分，会提示输入标签名。标签名自定义。打钩确认。
第一次标签会提示输入整理箱名：摘取的内容（标签）会放到整理箱。 标签是输出为excel表格时的项目。
工作台点击测试，查看能否抓取。
保存规则:在GS右上角有"存规则按钮"
然后点击"爬数据"按钮，启动GS的打数机爬取。
在爬取界面点击 文件->存储路径 可以查看路径。 去相关目录查找可见保存的XML文件。 注注意在user的DataScraperWorks目录下
然后回到GS主页，回到普通浏览模式。
再返回GS官网，登录会员中心，进入规则管理项，选择刚刚定义的规则，点击导入数据，点击附件选择刚刚的XML文件，点击导入。
然后点击导出数据，保存到 downloads目录。得到excel文件。
这里视频教程和软件版本不一致，改为到会员中心的数据管理导入导出
2.2 京东商品列表采集（样例复制）
列表页面就是由多个相同结构的数据组成的页面。
比如在京东搜索apple页面。https://search.jd.com/Search?keyword=apple&enc=utf-8&wq=apple&pvid=7f57e2c13a294435957c391adda80f01
复制到GS。注意要拖动滚动条使页面加载完。
然后定义规则：
新建主题，然后点击创建规则->新建整理箱。
然后选择页面中一个商品的名称，价格创建两个标签。
然后测试。
然后选中刚刚创建的整理箱->抓取内容->整理箱名。
点击原网页创建了标签的名称，在下方dom窗口出现对应节点，右键，样例复制，选择第一个（添加第一个样例）
然后原网页选择下一个商品，点击名称，下方dom右键选择第二个样例。 （这里样例复制只需要选择连续的两个数据结构的相同节点即可，比如京东搜索页面的两个手机的图片，不一定是刚刚创建的标签）
工作台点击定位，选择绝对定位，存储，测试。
然后右上角保存规则。点击。爬数据
爬完后可以点击查看日志有无错误。
剩下的转excel的操作和 2.1一致
2.3 京东搜索列表翻页采集
京东搜索键盘，复制到GS。
注意要先拖到，使得网页加载完毕。
新建主题，整理箱。然后点击页面创建标签: 名称，价格，店家。
然后创建样例复制。见 2.2
可以测试一下。
然后翻页：
拖动到页面下方的翻页区，点击原网页，可见黄色框选。在下方dom区可见选中了div节点，右键，翻页映射，作为翻页区，新建线索。注意修改目标任务名为当前任务。
然后找到翻页记号 ，这里是 "下一页"。点击，在dom区域可见选中了EM节点，但是这里是文本"下一页"，所以展开该EM节点，选中其中的text节点，右键，翻页映射，作为翻页记号。
存规则，爬数据。
这里每个页面一个XML文件。
为了防止爬虫到了最后一页陷入停止，在爬数据的打数机页面，高级，重点标志，重复内容。这样采集到连续三个相同的页面就会停止。中途也可以选择强制退出。
到生成的目录下，选择多个XML文件，压缩为ZIP，然后在GS的会员中心导入，导出，得到Excel文件。
2.4 京东搜索列表层级采集
在2.3翻页的基础上，进入商品的详情页采集信息。