• 启动hadoop集群


    1.配置core-site.xml(每个节点上都要配置)
      路径:
        /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml
      配置项1:
        name: fs.defaultFS
        value: hdfs://master的地址:端口
      作用:
        告诉所有机器master的相关信息
      例如:
        <property>
          <name>fs.defaultFS</name>
          <value>hdfs://192.168.0.104:9000</value>
        </property>
      配置项2:
        name:  hadoop.tmp.dir
        value:  tmp目录地址
      作用:
        hadoop默认把计算结果以及中间数据存储在/tmp,而linux会在不定期的删除/tmp目录下的文件
      例如:
        <property>
          <name>hadoop.tmp.dir</name>
          <value>/var/hadoop</value>
        </property>

    2.配置hosts文件(每个节点上都要配置)
      路径:
        /etc/hosts
      作用:
        告诉集群中每个节点彼此的名字和ip地址
      配置项:
        ip hostname
      例如:
        192.168.0.104 master
        192.168.0.105 slave1
        192.168.0.107 slave2
      如果不配置在启动node的时候会报类似于:java.net.UnknownHostException: master: master: unknown error
    3.在master上启动namenode
      格式化namenode
        命令:hdfs namenode -format
        地址:/tmp/hadoop-root/dfs/name
      启动namenode
        命令:hadoop-daemon.sh start namenode
        日志记录在:/usr/local/hadoop-2.7.3/logs/hadoop-root-namenode-master.out
      验证:jps
    4.在所有slave上启动datanode
      命令:hadoop-daemon.sh start datanode
      验证:jps
    5.查看集群
      在master上执行netstat -tnpl
      tcp 0 0 192.168.0.104:9000 0.0.0.0:* LISTEN 2853/java
      tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 2853/java
      会发现,hadoop启动后,会监听9000端口和50070端口
      9000端口是namenode和datanode通信的端口
      50070端口是提供的web监控界面端口(需要关闭防火墙,否则无法访问)
      web界面地址:http://192.168.0.104:50070/dfshealth.html#tab-overview
    6.关闭集群
      hadoop-daemon.sh stop namenode
      hadoop-daemon.sh stop datanode
    7.一键式启动
      配置/usr/local/hadoop-2.7.3/etc/hadoop/slaves
        [root@master hadoop]# cat slaves
        slave1
        slave2
        这里需要关闭slave1和slave2的防火墙,否则不成功
        slave1和slave2也是通过hosts里去找的
        如果没有设置ssh登录,这里需要输入密码,建议设置ssh登录
        start-dfs.sh也需要登录自己,如果做ssh登录也需要给自己的authorized_keys添加自己的id_rsa.pub
      启动脚本:
        master上执行:start-dfs.sh
    8.一键式停止
      master上执行:stop-dfs.sh

      

  • 相关阅读:
    linux 获取外网ip地址
    出现大量rcuob进程
    禁用 ipv6
    centos yum 坏掉 db 损坏
    关于 solusvm
    VMWare 下 Ubuntu 18.04 的文件共享
    安装最新版本 nginx
    大量的Close_wait 发现的 too many open file 错
    Linux安装Desktop 和 vncserver
    MySQL in和limit不能连用的问题
  • 原文地址:https://www.cnblogs.com/413xiaol/p/9938405.html
Copyright © 2020-2023  润新知