爬虫简介

爬虫

• 网络爬虫是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本

分类

• 通用爬虫 : 通过一些种子URL爬取到一整张页面，主要用于大型搜索引擎和大型web服务提供商采集数据。
• 聚焦爬虫 : 通过制订规则，只爬取特定的目标和数据
• 增量式爬虫 : 对已经下载的网页采取增量式更新，只爬取新产生的或者已经发生变化的内容
• 深层爬虫 : web页面按存在方式可以分为表层网页和深层网页
  • 表层网页指传统搜索引擎可以索引的页面，以超链接可以到达的静态网页为主构成的web页面。
  • 深层网页指得是大部分内容不能通过静态链接获取的，隐藏在表单后的，只有用户提交一些关键词才能获得的web页面。

风险

• 爬虫干扰了被访问网站的正常运营
• 爬虫爬取了受法律保护的特定类型的信息

规避风险

• 严格遵守网站的robots协议(可以通过根url/robots.txt打开)
• 爬取时控制频率，避免干扰到被访问网站的正常运行
• 抓取的内容属于个人信息，隐私或商业机密的应该及时删除

基本爬虫框架

• 爬虫调度器 : 负责其他模块的协调
• URL管理器 : 管理URL链接，维护已经爬取的URL和未被爬取的URL地址
• HTML下载器 : 从URL管理器中获取未被爬取的URL链接并下载HTML网页
• HTML解析器 : 从HTML下载器中获取已经下载的HTML网页并解析出新的URL链接交给URL管理器
• 数据存储器 : 用于将HTML解析器中解析出的数据通过文件或数据库的方式存储起来