• 大数据应用期末总评


    作业要求来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363

    大数据分析:

      1.将爬虫大作业产生的csv文件上传到HDFS

        Python爬取到的数据:

        

        

        (1)首先创建一个用于运行本案例的目录bigdatacase

        

        (2)在本地查看数据集

        

      2.对CSV文件进行预处理生成无标题文本文件   

        

      3.把上传到hdfs中的文本文件最终导入到数据仓库Hive中

        (1)首先通过start-all.sh命令启动进程

          

        (2)上传并查看文件

          

          

          

      4.在Hive中查看并分析数据

        (1)创建表comment

        

        (2)查看前comment表前10行数据

        

      5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

        (1)查询数据总数目

          

         (2)查询userid(用户id)不重复的数据数目

          

         (3)查询content(弹幕内容)不重复的数据数目

          

         (4)查询pattern值为7的数据数目(弹幕的模式:1..3 滚动弹幕 4底端弹幕 5顶端弹幕 6.逆向弹幕 7精准定位 8高级弹幕)

          

        (5)查询content(弹幕内容)包含'御坂美琴'的数据数目

          

         (6)查询pattern(弹幕模式:1..3 滚动弹幕 4底端弹幕 5顶端弹幕 6.逆向弹幕 7精准定位 8高级弹幕)各个模式的数目(降序)

          

          

         (7)查询content(弹幕内容)出现频率最高top4

          

          

           

          

  • 相关阅读:
    iOS开发-Scheduler attach ERROR when replacing an existing executor !!! id:88
    多层导航栏下的登陆注销架构
    iOS开发-功能篇-静态库
    iOS开发-UI篇-AutoLayout
    iOS开发-数据篇-sqlite存储
    零碎知识整理-外链应用
    零碎知识整理
    iOS开发-功能篇-国际化|NSUserDefaults
    iOS开发-底层篇-Class详解
    swift可选隐式可选类型
  • 原文地址:https://www.cnblogs.com/LinsenLiang/p/11060997.html
Copyright © 2020-2023  润新知