- 背景说明
HDFS文件系统使用一段时间后,可能会出现磁盘空间不足或是磁盘损坏的现象,此时需要对DataNode节点的磁盘进行扩充或是更换,本文对操作流程做一个简单的总结 - 操作步骤
- 挂载硬盘
- 添加硬盘的操作网上有很多教程,可以参考:http://zwkufo.blog.163.com/blog/static/258825120141283942244/
- 操作HDFS
- 修改hdfs-size.xml配置文件
只需要在需要配置新目录的datanode节点上,修改hdfs-size.xml文件的dfs.datanode.data.dir属性,目录用逗号分割
- 修改hdfs-size.xml配置文件
- 挂载硬盘
<property> <name>dfs.datanode.data.dir</name> <value>/opt/PaaS/Talas/data/hdfs,/opt/PaaS/Talas/data/hdfs2</value> </property>
2.重新加载DataNode配置
同样只需要操作添加硬盘的Datanode
./hdfs dfsadmin -reconfig datanode 10.5.24.139:50020 start
注:10.5.24.139为目录调整的Datanode节点,Datanode的默认IPC地址为:50020
3.查看配置:Hadoop/bin/hdfs dfsadmin -report
3.说明
不只是添加数据目录,上述操作步骤对删除数据目录依然有效,只需要删除dfs.datanode.data.dir中对应的目录即可