本次作业的要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339
Hadoop综合大作业 要求：
1.将爬虫大作业产生的csv文件上传到HDFS
2.对CSV文件进行预处理生成无标题文本文件
3.把hdfs中的文本文件最终导入到数据仓库Hive中
4.在Hive中查看并分析数据
5.用Hive对爬虫大作业产生的进行数据分析，写一篇博客描述你的分析过程和分析结果。（10条以上的查询分析）
数据预处理：
对爬取的CSV文件进行处理和清洗，删除空白和没用的数据
清理重复的数据和无效数据
大数据分析：
1.将爬虫大作业产生的csv文件上传到HDFS
先用命令创建文件夹，并进入其文件夹位置。
将文件复制到新创文件夹中，并查看前五条数据，测试是否上传成功。
为了更好的显示效果，我们先对数据进行文本预处理。
预处理后用命令使其生效并测试是否成功。
启动数据库服务，并进入hive路径
创建一个数据库dbpy，和数据表lagou_py。在测试十条数据。
用hive对数据进行分析
1.查看评分在9.0以上的电影数量，得到结果为1508部。可以看出其网站电影质量比较高。
2.查看由张国荣主演的电影。
3.查看由张国荣主演的评分大于9.0的电影，其结果为0
4查看评分在8.0-9.0的电影数量其结果为658部
5.查询分数<8.0的电影数量，其结果为0
6.查询1999年所拍的电影数量。
7.查看评分在9.5以上的电影。
8.查询评分在9.0以上的电影名称，方便给观众推荐
查询评分9.0以上的电影的主演。
