CDH大数据集群问题问题分析与解决方案
问题描述:Hive提交任务,一直卡在Reduce阶段,进度缓慢。
日志分析:NodeManager节点产生的usercache所在分区空间不足,导致进程异常退出。
解决方案:1)调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/yarn/nm;2)优化SQL语句。
重新部署客户端配置,重启后,执行速度提升,问题得以解决。
作业中止命令:hadoop job -kill <jobid>
CDH大数据集群问题问题分析与解决方案
问题描述:Hive提交任务,一直卡在Reduce阶段,进度缓慢。
日志分析:NodeManager节点产生的usercache所在分区空间不足,导致进程异常退出。
解决方案:1)调整各个NodeManager节点的配置-/opt/yarn/nm、/spark/yarn/nm;2)优化SQL语句。
重新部署客户端配置,重启后,执行速度提升,问题得以解决。
作业中止命令:hadoop job -kill <jobid>