• Hadoop综合大作业


    作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

    本次作业是在《爬虫大作业》的基础上进行的,在《爬虫大作业》中。本次作业的任务主要有以下三点:

    1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS

    2.把hdfs中的文本文件最终导入到数据仓库Hive中,在Hive中查看并分析数据

    3.用Hive对爬虫大作业产生的进行数据分析(10条以上的查询分析)

    大数据分析

    1.对CSV文件进行预处理生成无标题文本文件,将爬虫大作业产生的csv文件上传到HDFS

    其次,我们把data.csv文件放到下载这个文件夹中,并使用命令把data.csv文件拷贝到我们刚刚所创建的文件夹中,具体步骤如下:

    对CSV文件进行预处理生成无标题文本文件,步骤如下:

    接着,启动hadoop,并查看Hadoop是否启动成功,步骤如下:

    最后,我们把本地的文件上传至HDFS中,步骤如下:

     2.把hdfs中的文本文件最终导入到数据仓库Hive中

     首先,启动hive,步骤如下

    其次,把hdfs中的文本文件最终导入到数据仓库Hive中,并在Hive中查看并分析数据,具体步骤如下:

    3.用Hive对爬虫大作业产生的进行数据分析

    查找城市分布情况,查询结果如下图所示:

    找出北京各个区的电影情况

    找出北京各个区的电影情况

    找出深圳各个区的电影情况

     找出上海各个区的电影情况

    查询票房前10名的城市

  • 相关阅读:
    MySQL Community Server 8.0.16
    Python的编码规范
    Python 的语言特性
    spark笔记 环境配置
    C#委托实现工厂规则注入
    特性与元数据
    可输入的模糊搜索ComBox控件
    ASPX页面输出datatable的一种方法
    QRcode生成二维码,保存二维码图片到服务器
    SQL语句的随机值与行号,字符串拼接
  • 原文地址:https://www.cnblogs.com/lingzihui/p/11061500.html
Copyright © 2020-2023  润新知