这两天在研究了hbase,hadoop,hive,spark
由于spark.py不支持clust(jar才支持,但是太麻烦了>_<)
所以最终决定使用hive
在hive中用create external table后可以一同指定partition和location,这样就可以直接在hadoop的原始数据里进行查询了,
查询会自动转换成map reduce,
用msck可以修复之前partition有问题的地方
这两天在研究了hbase,hadoop,hive,spark
由于spark.py不支持clust(jar才支持,但是太麻烦了>_<)
所以最终决定使用hive
在hive中用create external table后可以一同指定partition和location,这样就可以直接在hadoop的原始数据里进行查询了,
查询会自动转换成map reduce,
用msck可以修复之前partition有问题的地方