第一天
今天是准备爬取高德大数据代码,主要爬取道路和区域拥堵数据,要按f12在network里面找存放当前时刻数据的文件,所有城市信息在https://trp.autonavi.com/ajax/getCityInfo.do?里面保存,道路信息在
https://trp.autonavi.com/ajax/roadRank.do?roadType=0&timeType=0&cityCode=650100里保存
cityCode在第一个城市信息里有,区域信息在https://trp.autonavi.com/ajax/districtRank.do?linksType=1&cityCode=650100里保存,之后就是通过Python爬取数据。爬取时发现是动态页面,直接打印页面代码打印不出来,所以用了selenium解析,用selenium得到源代码,再用re解析得到正确的源代码,之后就是将代码存入数据库,但存入一直报错,很长时间解决不了。