• hadoop节点动态删除与增加


    动态删除

    1)修改配置文件

    修改hdfs-site.xml文件,适当减小dfs.replication的数量,增加dfs.hosts.exclude选项

    vi hdfs-site.xml
    <property>
        <name>dfs.hosts.exclude</name>
        value>/usr/local/src/hadoop/hdfs/excludes</value>
    </property>

    2)创建exclude

    touch /usr/local/src/hadoop/hdfs/excludes

    3)在exclude中写入待删除的DataNode的ip或域名

    vi /usr/local/src/hadoop/hdfs/excludes
    slave3

    4)刷新

    hdfs dfsadmin -refreshNodes
    start-balancer.sh

    动态增加

    1)配置ssh免密码登入

    ssh-keygen
    ssh-copy-id    

    2)复制hadoop目录

    scp -Cr /usr/local/src/hadoop slave3:/usr/local/src/

    3)把新主机添加到slaves

    vi $HADOOP_HOME/etc/hadoop/slaves

    slave3

    4)刷新节点

    hadoop-daemon.sh start datanode             #在slave3上启动
    yarn-daemon.sh start datanode              #在slave3上启动
    hdfs dfsadmin -refreshNodes start-balancer.sh    
  • 相关阅读:
    QSettings读写注册表、配置文件
    QSettings介绍
    桥接模式
    Qt之启动外部程序
    StringJDBC更改数据库的两种方式
    写代码注意事项
    maven仓库
    java关闭流,解压缩后的清除
    Java删除文件夹和文件
    浏览器禁用后退
  • 原文地址:https://www.cnblogs.com/txxj/p/11930885.html
Copyright © 2020-2023  润新知