• hadoop新旧节点


    注意:黑白名单只出现在名称(nn)节点
    <!-- 白名单 -->
    <property>
    <name>dfs.hosts</name>/Users/yangyanqing/文档/hadoop添加新节点+退役旧节点.txt
    <value></value>
    <description>包含允许连接nn的主机名列表(文件名),必须是绝对路径,如果为空,所有主机都可以连接</description>
    </property>
    <!-- 黑名单 -->
    <property>
    <name>dfs.hosts.exclude</name>
    <value></value>
    <description>包含不允许连接nn的主机名列表(文件名),必须是绝对路径,如果为空表示没有主机在黑名单中</description>
    </property>
    例子:
    0.克隆新主机,软件安装与配置。
    0.1:修改主机名
    [vim /etc/hosts]
    0.2:静态ip
    0.2.1:[vim /etc/sysconfig/network-scriots/ifcfg-eno...]
    0.2.2:[vim /etc/resolv.conf]
    nameserver 192.168.23.2
    0.2.3:重启网络服务
    service network restart
    0.2.4:关闭防火墙
    service firewalld stop
    0.2.5:防火墙开机关闭
    chkconfig firewalld off
    0.3:ssh[s101]
    0.3.1:[vim /etc/hosts]
    0.3.2:拷贝s101公钥到s106
    ssh-copy-id root@s106
    0.3.3:添加分发配置主机
    $>vim /usr/local/bin/.hosts
    追加 s106
    0.3.4:s106安装rsync
    yum install -y rsync
    0.3.5:分发
    $>xsync.sh /etc/hosts
    $>rsync -rl /soft/hadoop* root@s106:/soft/
    $>rsync /etc/profile root@s106:/etc/

    软件
    环境变量
    ============================= hdfs添加新节点 =============================
    1.添加新主机在白名单。注:dfs_include.conf文件内放置添加新主机名
    [/soft/hadoop/etc/hadoop/dfs_include.conf]
    s102
    s103
    s104
    s106
    [hdfs-site.xm]
    <property>
    <name>dfs.hosts</name>
    <value>/soft/hadoop/etc/hadoop/dfs_include.conf</value>
    </property>
    2.刷新名称节点
    $>hdfs dfsadmin -refreshNodes
    4.更新slaves文件(把新添加主机名加进去)
    s102
    s103
    s104
    s106
    5.启动新节点的datanode进程和nodemanager进程
    //登陆s106(source /etc/profile 使配置文件生效)
    $>hadoop-daemon.sh start datanode
    6.检查webui即可。
    ============================= hdfs退役旧节点 =============================
    1.添加下线节点主机名到黑名单,不跟新白名单
    [/soft/hadoop/etc/hadoop/dfs_exclude.conf]
    s104
    [hdfs-site.xm]
    <property>
    <name>dfs.hosts.exclude</name>
    <value>/soft/hadoop/etc/hadoop/dfs_exclude.conf </value>
    </property>
    2.刷新名称节点
    $>hdfs dfsadmin -refreshNodes
    3.刷新yarn
    4.webui查看状态是否下线中,开始负责block到其他节点。(下线过程就是旧节点数据复制到新节点上面,副本数始终保持在3个,如果副本数小于3,则没有新节点备份数据,webui会始终保持下线状态)
    5.当所有数据节点报告已退役,说明所有block复制完成,下线节点。
    6.从白名单删除节点,并运行刷新新节点
    $>hdfs dfsadmin -refreshNodes
    7.删除slave文件的节点。

    ============================= yarn添加新节点 =============================
    1.添加新主机在白名单。注:dfs_include.conf文件内放置添加新主机名
    [/soft/hadoop/etc/hadoop/yarn_include.conf]
    s102
    s103
    s104
    s106
    [yarn-site.xm]
    <property>
    <name>yarn.resourcemanager.nodes.include-path</name>
    <value>/soft/hadoop/etc/hadoop/yarn_include.conf</value>
    </property>
    3.刷新yarn节点
    $>yarn rmadmin -refreshNodes
    4.更新slaves文件(把新添加主机名加进去)
    s102
    s103
    s104
    s106
    5.启动新节点的datanode进程和nodemanager进程
    //登陆s106(source /etc/profile 使配置文件生效)
    $>hadoop-daemon.sh start datanode
    6.检查webui即可。
    ============================= yarn退役旧节点 =============================
    1.添加下线节点主机名到黑名单,不跟新白名单
    [/soft/hadoop/etc/hadoop/yarn_exclude.conf]
    s104
    [yarn-site.xm]
    <property>
    <name>yarn.resourcemanager.nodes.exclude-path</name>
    <value>/soft/hadoop/etc/hadoop/yarn_exclude.conf </value>
    </property>
    2.刷新名称节点
    $>yarn rmadmin -refreshNodes
    3.刷新yarn
    4.webui查看状态是否下线中,开始负责block到其他节点。(下线过程就是旧节点数据复制到新节点上面,副本数始终保持在3个,如果副本数小于3,则没有新节点备份数据,webui会始终保持下线状态)
    5.当所有数据节点报告已退役,说明所有block复制完成,下线节点。
    6.从白名单删除节点,并运行刷新新节点
    $>yarn rmadmin -refreshNodes
    7.删除slave文件的节点。

  • 相关阅读:
    golang的string是包使用
    OTHER状态的mongodb副本集成员转换为独立的新副本集primary
    linux命令行快捷键
    如何配置vcodes成最美观的样子,让你从此爱上代码
    记一次Lock wait timeout异常的排查过程
    mysql变更上线流程
    go build 使用
    Makefile文件
    解决 windows10系统和AOC显示器时不时地闪现黑屏问题
    feign调用添加header参数
  • 原文地址:https://www.cnblogs.com/nyfz/p/9034930.html
Copyright © 2020-2023  润新知