1、任务介绍
https://movie.douban.com/top250
对链接内容包括电影名称、评分、评价数、电影概况、电影链接等需求分析
2、认识爬虫
网络爬虫,是一种按照一定规则,自动抓取互联网信息的程序或脚本。由于互联网数据的多样性和资源的有限性,根据用户需要定向抓取相关网页信息,并分析。
可以获取自己想要的数据信息
模拟浏览器打开网页,获取网页中想要的的数据
3、基本流程
1)准备工作
URL分析
页面包括250条电影数据,分10页,每页25条,每页的URL的不同之处:最后的数值=(页数-1)*2
分析页面
- 借助chrome开发者工具(F12)来分析网页,在Elements下找到需要的数据位置
F12-->Network
header是客户端向服务器发消息,服务器从header的信息来鉴定身份
2)获取数据
3)解析内容
4)保存数据