Python 爬虫简介
说到python相信很多人第一反应就是爬虫，python是作为爬虫领域最强大的一门语言，甚至有人误认为python就是爬虫的意思，可想而知python爬虫的实例，那么刚入坑的同学们问了，爬虫到底是个什么呢?
爬虫就是通过编写程序，浏览模拟器上网，然后让其去互联网上爬取数据的过程。
爬虫分类
- 通用爬虫：将一整张爬虫进行爬取，搜索引擎用的比较多。
- 聚焦爬虫：将一张爬下来，在获取指定元素。
- 增量式：只爬取最新或者没有爬过的数据。
反爬机制
- 门户网站，设计逻辑机制阻止爬虫程序。
反反爬策略
- 破解防反爬策略。
rebots.txt协议
- 它是一个反爬机制，指定的协议。
- 遵从或者不遵从