今天测试mahout的数据提取和处理
结果很郁闷了一下
数据提炼很快,半个小时不到完成了,就处理为vector的了
但是开始使用canopy算法分析就不行了
整整一个小时才跑了4%
而以前相同的数据使用hive进行数据逻辑处理接近一个小时都处理完了
而且小集群的五台机器全部性能消耗达到了100%,一路的全线彪红
这种计算密集型的东东用目前的机器配置有点低了
今天测试mahout的数据提取和处理
结果很郁闷了一下
数据提炼很快,半个小时不到完成了,就处理为vector的了
但是开始使用canopy算法分析就不行了
整整一个小时才跑了4%
而以前相同的数据使用hive进行数据逻辑处理接近一个小时都处理完了
而且小集群的五台机器全部性能消耗达到了100%,一路的全线彪红
这种计算密集型的东东用目前的机器配置有点低了