本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339
Hadoop综合大作业 要求：
1.将爬虫大作业产生的csv文件上传到HDFS
2.对CSV文件进行预处理生成无标题文本文件
3.把hdfs中的文本文件最终导入到数据仓库Hive中
4.在Hive中查看并分析数据
5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）
数据预处理：
对爬取的CSV文件进行处理和清洗，删除空白和没用的数据
清理重复的数据和无效数据
大数据分析：
1.将爬虫大作业产生的csv文件上传到HDFS
先用命令创建文件夹，并且将CSV文件复制粘贴到新建的文件夹中
查看文件前5条信息，检查是否上传成功
2.对CSV文件进行预处理生成无标题文本文件
因为我爬取数据时并没有设置标题，前面对数据进行过处理，所以可以直接跳过这步。
3.把hdfs中的文本文件最终导入到数据仓库Hive中
想要把数据导入到数据库Hive中，首先要通过命令把服务全部开启
然后把CSV文件导入到数据仓库Hive中，并在Hive中查看并分析数据
查看数据表是否正常
4.用Hive对爬虫大作业产生的进行数据分析
5分评分数
4.5分评分数
4分评分数
3.5分评分数
评分小于3分的数量
这次爬取的数据一共11604条，其中给满分好评的有6099条，占总数的52.7%；其中4.5分的有1982条，占17.1%；其中4分的有1996，占17.2%，给3分以下的仅仅只有3.8%，去除一些恶意的差评，将小于3分的人数与5分人数抵消，给满分的用户还有一半。
如果以4分以上作为好评，二这部电影的好评数高达87%，按照现今的电影情况，能有如此高的好评确实不多。
这足以说明这部电影口碑极好，深受喜欢。
这是评论用户最多的前二十个城市，前面实际个都是国内发展得特别好的一线城市。
这不仅从侧面反映出这些城市的人流量高，生活水平高，同时也说明了电影在这些城市的宣传力度。
这是5分满分好评数量最多的前二十个城市。
与前面评论数最多的城市相比较，变化并不明显，总体来前二十城市的满分评分也接近50%以上。
评论数最多的那几天都是电影的热映期，用户对于该电影的关注度还是挺不错的，而且愿意对这部电影提出自己的意见。
