动态删除
1)修改配置文件
修改hdfs-site.xml文件,适当减小dfs.replication的数量,增加dfs.hosts.exclude选项
vi hdfs-site.xml <property> <name>dfs.hosts.exclude</name> value>/usr/local/src/hadoop/hdfs/excludes</value> </property>
2)创建exclude
touch /usr/local/src/hadoop/hdfs/excludes
3)在exclude中写入待删除的DataNode的ip或域名
vi /usr/local/src/hadoop/hdfs/excludes slave3
4)刷新
hdfs dfsadmin -refreshNodes start-balancer.sh
动态增加
1)配置ssh免密码登入
ssh-keygen ssh-copy-id
2)复制hadoop目录
scp -Cr /usr/local/src/hadoop slave3:/usr/local/src/
3)把新主机添加到slaves
vi $HADOOP_HOME/etc/hadoop/slaves
slave3
4)刷新节点
hadoop-daemon.sh start datanode #在slave3上启动 yarn-daemon.sh start datanode #在slave3上启动
hdfs dfsadmin -refreshNodes start-balancer.sh