• hadoop hdfs完全分布式搭建


    检查环境:
    1、jdk,java_home
    2、主机名和ip地址映射
    3、关闭所有机器的防火墙
    4、检查所有主机date是否一致(如:绑定上海交通大学网上时间)
        ntpdate -u ntp.sjtu.edu.cn
    5、设置免密码ssh登陆:start-dfs.sh执行脚本时使用。
        node1——》node2免密码  将node1中的公钥 追加到node2的验证文件中
                scp ~/.ssh/id_dsa.pub root@node2:~/haha        cat haha >> ~/.ssh/authorized_keys
        node1——》node3免密码  将node1中的公钥 追加到node3的验证文件中
        node1——》node4免密码

    配置
    1、修改hadoop-env.sh
        配置java的环境变量  JAVA_HOME     
            配置各种环境变量  当前用户 在~/.bash_profile 中配置  系统环境变量在/etc/profile中配置
            配置XXX_HOME=安装目录  PATH=$XXX_HOME/bin: ————path路径通过:分割 可执行路径一般是bin或者sbin
    2、修改core-site.xml
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node1:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/data</value>
        </property>
    3、修改hdfs-site.xml
        <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>node2:50090</value>
    </property>
    <property>
      <name>dfs.namenode.secondary.https-address</name>
      <value>node2:50091</value>
    </property>
    <!-- 关闭权限验证 :可以不配置  在java代码中配置主机名 -->

    <!--FileSystem fs =FileSystem.get(new URI("hdfs://node1:9000"), config,"root");//改访问主机名字为namenode的用户名 使其拥有权限-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    4、masters
        配置SecondaryNodeName的主机名字(已经在/etc/hosts完成了映射关系)
        例:node2
    5、slaves
        配置DataNode的各个主机名字(已经在/etc/hosts完成了映射关系),一行一个名字,没有空格
        node3
        node4
        node2
    6,
    确保所有hadoop机器配置文件完全一样
        将hadoop安装文件夹中etc/hadoop/* 全部拷贝到所有机器
    拷贝所有的配置文件到所有的hadoop机器上
        进入etc/hadoop/    scp ./* root@node2:安装或解压目录/etc/hadoop/

    格式化namnode
        hdfs namenode -format
        (即:初始化元数据文件fsimage)

    在node1上执行启动的脚本
    start-dfs.sh

    ps:
    若已经启动过 要再一次格式化HDFS 即运行hdfs namenode -format
    若重新格式化 要先将所有Hadoop机器中指定的fsimage的信息文件目录删除 以及所有机器上的安装中的logs文件删除
    即删除core-site.xml文件所指定的已有目录  
        例:删除/home/data文件夹
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/data</value>
        </property>

  • 相关阅读:
    ORA-01861: 文字与格式字符串不匹配
    Tomcat启动失败Unrecognized Windows Sockets error: 0: JVM_Bind
    登陆数据库,界面一直保持正在登陆的状态,oracle使用界面无法登陆
    java.sql.SQLException: 关闭的连接
    如何提高家庭宽带的网速?
    打爆IPv4的不一定是IPv6,可能是中国互联网!
    LibreOffice 7.0.1 发布,开源办公套件
    iPhone12系列售价曝光
    TikTok正式起诉特朗普政府
    WordPress主题ripro 6.6
  • 原文地址:https://www.cnblogs.com/bingzhikun/p/4969823.html
Copyright © 2020-2023  润新知