随着业务的不断增长,hadoop集群存储的数据量也不断增长,数据量在PB级时会出现hadoop/hdfs命令执行慢或者不能 返回结果及出现GC错误;
需要调整HADOOP_HEAPSIZE参数的大小;该参数默认为1000MB;
实际情况:
数据量为1PB,HADOOP_HEAPSIZE参数设置为16GB,可以正常返回结果。
根据实际情况进行调整,保证hadoop/hdfs等命令正常返回结果。
随着业务的不断增长,hadoop集群存储的数据量也不断增长,数据量在PB级时会出现hadoop/hdfs命令执行慢或者不能 返回结果及出现GC错误;
需要调整HADOOP_HEAPSIZE参数的大小;该参数默认为1000MB;
实际情况:
数据量为1PB,HADOOP_HEAPSIZE参数设置为16GB,可以正常返回结果。
根据实际情况进行调整,保证hadoop/hdfs等命令正常返回结果。