一丶要求
1. 编程爬取每日最新的疫情数据统计
2. 并将爬取结果导入到数据库中‘
3. 将可视化结果与统计数据结合,实时显示当前最新数据
二, 学习及实现过程的psp 表
日期 | 开始时间 | 结束时间 | 中断时间 | 净时间 | 活动 | 备注 |
2020-3-10 | 15:40 | 17:20 | 10分钟 | 1小时30分钟 |
学习jsoup 的使用 |
使用jsoup 抓取页面 并了解里面的主要方法的使用 |
3-11 | 9:50 | 11:50 | 2小时 | 实践jsoup | 根据视频案例来抓取某个网页当中的图片并下载到本机当中 | |
3-11 | 15:00 | 17:00 | 2小时 | jsoup编写代码实现抓取 |
遇到困难,网页当中js动态生成的网页无法抓取,上网搜索解决办法 寻找到 phantomjs 插件 了解并尝试使用 |
|
3-11 | 20:30 | 21:30 | 1小时 | 使用 phantomjs 抓取动态界面 | 弄了半天没有成功,决定学习python 爬取数据 | |
3-12 | 12:50 | 16:50 | 30分钟 | 3小时30分 | 学习Python数据专区 |
看视频学习使用python抓取数据,并将给出的示例进行改编 ,实现练习目的: 实现数据存入数据库,并用Echarts 可视化显示出来 |