python网络爬虫与信息提取——3.requests爬虫实战

1.解除User‐Agent限制

改变headers，冒充浏览器

kv={"User‐Agent":"Mozilla/5.0"}

r=requests.get(url,headers=kv)

2.搜索关键词提交

百度的关键词接口：
http://www.baidu.com/s?wd=keyword
360的关键词接口：
http://www.so.com/s?q=keyword

kv={“wd”：“python”}

r=requests.get("http://www.baidu.com/s",params=kv)

3.爬取保存图片

r=requests.get(url)

with open(path,"wb") as f:

    f.write(r.content)

    f.close()

图片保存为二进制，获取图片后，二进制读出，以二进制写入本地文件

4.网页提交以get方式（url），通过解析通用接口，用Python模拟url，实现下载