python | 爬虫笔记

总体学习路径：

1、学习 Python 包并实现基本的爬虫过程

2、了解非结构化数据的存储

3、学习scrapy，搭建工程化爬虫

4、学习数据库知识，应对大规模数据存储与提取

5、掌握各种技巧，应对特殊网站的反爬措施

6、分布式爬虫，实现大规模并发采集，提升效率

 

· 目标驱动

· 在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆瓣、小猪这种简单的入手），直接开始就好。

· 高效的姿势就是从实际的项目中去学习这些零散的知识点，你能保证每次学到的都是最需要的那部分。

 

参考：http://www.sohu.com/a/225904132_609569

 

##本系列内容为《python3爬虫开发实战》学习笔记。本系列博客列表如下：

（零）学习路线

（一）开发环境配置

（二）爬虫基础

（三）基本库使用

（四）解析库使用

（五）数据存储

（六）Ajax数据爬取

（七）动态渲染页面爬取Selenium

持续更新...

对应代码请见：..