爬前叨叨
第40篇博客吹响号角,爬取博客园博客~本文最终抓取到了从2010年1月1日到2019年1月7日的37W+文章,后面可以分析好多东西了呢
经常看博客的同志知道,博客园每个栏目下面有200页,多了的数据他就不显示了,最多显示4000篇博客
如何尽可能多的得到博客数据,是这篇文章研究的一点点核心内容,能√get到多少就看你的了~
单纯的从每个栏目去爬取是不显示的,转换一下思路,看到搜索页面,有时间~,有时间!
注意看URL链接
https://zzk.cnblogs.com/s/blogpost?Keywords=python&datetimerange=Customer&from=2019-01-01&to=2019-01-01
这个链接得到之后,其实用一个比较简单的思路就可以获取到所有python相关的文章了,迭代时间。
下面编写核心代码,比较重要的几个点,我单独提炼出来。
- 页面搜索的时候因为加了验证,所以你必须要获取到你本地的cookie,这个你很容易得到
- 字典生成器的语法是时候去复习一下了
import