• hadoop退役旧数据节点


    添加白名单
    添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。
    配置白名单的具体步骤如下:
    (1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
    [hfx@hadoop102 hadoop]$ pwd
    /opt/module/hadoop-2.7.2/etc/hadoop
    [hfx@hadoop102 hadoop]$ touch dfs.hosts
    [hfx@hadoop102 hadoop]$ vi dfs.hosts
    添加如下主机名称(不添加hadoop105)
    hadoop102
    hadoop103
    hadoop104
    (2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性

    dfs.hosts /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts (3)配置文件分发 [hfx@hadoop102 hadoop]$ xsync hdfs-site.xml 4)刷新NameNode [hfx@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes Refresh nodes successful (5)更新ResourceManager节点 [hfx@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes 17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033 (6)在web浏览器上查看 ![](https://img2018.cnblogs.com/blog/1869085/202002/1869085-20200214162840383-1215525155.png) (7)如果数据不均衡,可以用命令实现集群的再平衡 [hfx@hadoop102 sbin]$ ./start-balancer.sh

    黑名单退役
    在黑名单上面的主机都会被强制退出。
    1.在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
    [hfx@hadoop102 hadoop]$ pwd
    /opt/module/hadoop-2.7.2/etc/hadoop
    [hfx@hadoop102 hadoop]$ touch dfs.hosts.exclude
    [hfx@hadoop102 hadoop]$ vi dfs.hosts.exclude
    添加如下主机名称(要退役的节点)
    hadoop105
    2.在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

    name>dfs.hosts.exclude /opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude 3.刷新NameNode、刷新ResourceManager [hfx@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes Refresh nodes successful

    [hfx@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
    17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033
    4. 检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点,如图3-17所示

    5.等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役,如图3-18所示

    [hfx@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
    stopping datanode
    [hfx@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
    stopping nodemanager
    6. 如果数据不均衡,可以用命令实现集群的再平衡
    [hfx@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh
    starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-hfx-balancer-hadoop102.out
    Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved
    注意:不允许白名单和黑名单中同时出现同一个主机名称。

  • 相关阅读:
    记一次跳转
    html2canvas在生成图片过程中遇到的坑vue
    数组对象push新的元素,导致其他新复制的数据也发生改变,不是一一对应改变(深拷贝和浅拷贝)
    js生成的新结构点击事件不生效
    箭头函数和普通函数的区别
    vue (vue-cli主要写构建工具的使用)
    favicon.ico可能会遇到的的坑
    video不能在个别浏览器不能播放
    a标签的拨打电话、发邮件、QQ发消息,另外控件分享转发
    git使用的简单命令
  • 原文地址:https://www.cnblogs.com/sgjk/p/12307899.html
Copyright © 2020-2023  润新知