今天看了关于北京信件分析施展的内容,其中找了半天信件的网址,老师给的网址有些出入,下面时我找的网址:
http://www.beijing.gov.cn/hudong/hdjl/com.web.search.mailList.flow
研究了一下这个网页,发现这个网页和之前我做的爬取有些不太一样,这个是通过发送ajax请求,解析ajax请求来完成页面信息的传输以及更新。
这是其相关请求表头,今天查询了相关资料了解了一些如何处理ajax请求来实现爬取,之后爬取返回ajax的信息,取出相关的内容,这是我打算的思路,明天将实现这个思路以及将相关的具体问题。