1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。
启动hadoop
用hdfs创建文件夹
上传英文文档bwyb.txt到hdfs上
启动hive并创建原始文档表:
导入文件数据:
查看导入结果
进行词频统计,结果放在表word_coune里:
查看统计结果:
2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。
1.用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计。
启动hadoop
用hdfs创建文件夹
上传英文文档bwyb.txt到hdfs上
启动hive并创建原始文档表:
导入文件数据:
查看导入结果
进行词频统计,结果放在表word_coune里:
查看统计结果:
2.用Hive对爬虫大作业产生的csv文件进行数据分析,写一篇博客描述你的分析过程和分析结果。