• 课堂练习-数据爬取


    一丶要求

    1. 编程爬取每日最新的疫情数据统计

    2. 并将爬取结果导入到数据库中‘

    3. 将可视化结果与统计数据结合,实时显示当前最新数据

    二, 学习及实现过程的psp 表

    日期 开始时间 结束时间 中断时间 净时间 活动 备注
    2020-3-10  15:40  17:20  10分钟  1小时30分钟

     学习jsoup 的使用

     使用jsoup 抓取页面

    并了解里面的主要方法的使用

    3-11  9:50  11:50    2小时   实践jsoup   根据视频案例来抓取某个网页当中的图片并下载到本机当中
     3-11  15:00  17:00    2小时   jsoup编写代码实现抓取

     遇到困难,网页当中js动态生成的网页无法抓取,上网搜索解决办法

    寻找到 phantomjs 插件 了解并尝试使用

     3-11  20:30  21:30    1小时  使用 phantomjs 抓取动态界面  弄了半天没有成功,决定学习python 爬取数据
     3-12  12:50  16:50  30分钟  3小时30分  学习Python数据专区

     看视频学习使用python抓取数据,并将给出的示例进行改编 ,实现练习目的:

    实现数据存入数据库,并用Echarts 可视化显示出来

  • 相关阅读:
    devexpress13学习系列(三)PDFViewer(3)
    devexpress13学习系列(一)PDFViewer(2)
    devexpress13学习系列(一)PDFViewer(1)
    Android图像处理之Bitmap类(zz)
    laravel 制作购物车流程
    数据类型转换
    http返回值
    前段框架
    开启GD拓展
    PHP初级程序员出路
  • 原文地址:https://www.cnblogs.com/cxy0210/p/12487985.html
Copyright © 2020-2023  润新知