enmm,之前我用自己的爬虫爬取百度百科,发现大多数结果都是‘空’,这让我很难受,爬完所有数据只能爬到聊聊数条,真的是很难,
现在我发现用高德的api接口爬取数据会简单好多,首先高德是免费的,至少现在的数据需求量上是免费的
其次高德提供了非常完美的接口供我们调用,
找到方向后其实爬取相应的数据是很简单得,首先去高德获取自己的key值
大概就是在这个位置,下面这个key值就很关键,
然后在web服务API下,你可以找到具体的使用方法,这里有详细的使用方式,到时候自己去看就可以。
代码也很简单
'''
参数包括:keywords,type,city,children,offset,page,extensions
解释:查询关键词,查询POI类型(如医院,公司),城市名,展示层级,每页记录数据,当前页数,返回结果控制(base即可)
例子:下花园煤矿医院
url=https://restapi.amap.com/v3/place/text?keywords=下花园煤矿医院&city=beijing&offset=20&page=1&key=(你的key)&extensions=base
'''
url = getUrl() # print(url) response = requests.get(url) # print(response.text) # json字典格式 # print(response.content) rjson = response.json() print(response.json()) print(rjson['pois'][0]['pname']) print(rjson['pois'][0]['cityname']) print(rjson['pois'][0]['adname']) # return_json = json.load(response.text) # print(return_json)
就可以得到了
首先,输入自己的网址可以看到
再找到json的位置就可以了