如果要从一个互联网前端开发的小白,学习爬虫开发,结合自己的经验老猿认为爬虫学习之路应该是这样的:
一、 了解HTML语言及css知识
这方面的知识请大家通过w3school 去学习,老猿对于html总结了部分基础知识内容,在《第14.2节 HTML知识简介》进行介绍,其他的大家到w3school 去学习。
二、 学习http协议相关的知识
需要了解url的构成、http协议头的结构、http协议支持的get方法等内容。这方面推荐大家学习如下老猿转发的博文:
三、 学习cookies相关知识
要登录网站爬取信息,按现在绝大多数网站的会话管理机制,cookies是必不可少的,了解cookies并利用cookies实现网站登录管理。这方面推荐大家学习如下老猿转发的博文:
四、 分析浏览器访问网站网址的过程,如是否需要先登录、是否有代理、是否多次交互等,可以通过浏览器来获取网站访问信息来分析访问过程,这个与具体要爬取的网站及爬取内容相关。老猿将介绍通过IE11及google浏览器获取网站访问信息的方法;
五、 学习Python访问web网站编程的知识,这个老猿主要介绍使用urllib模块相关方法读取网页内容;
六、 学习网页解析的方法,老猿将比较详细BeautifulSoup的使用;
七、 分析准备爬取网页内容的结构,获取网页内容后,根据爬取内容的要求针对性进行分析;
八、 分析怎么完成爬取自己感兴趣内容的http交互过程。
其中最后两步有可能是交替的,有可能爬取一个网页分析其结构解读内容,再根据解读内容爬取下一个网页。老猿将以此为主线介绍爬虫相关的知识,但第一、二步就不介绍了。
老猿Python,跟老猿学Python!
博客地址:https://blog.csdn.net/LaoYuanPython
老猿Python博客文章目录:https://blog.csdn.net/LaoYuanPython/article/details/98245036
请大家多多支持,点赞、评论和加关注!谢谢!