• 虚拟机搭建hadoop2.7.4


    CentOS7.0安装配置hadoop2.7.4

    资源准备

    资源下载:

    注意事项:

    • 注意hadoop,jdk,centos都应该是64位或者32位的,以免出现无法预料的错误建议使用64位的

    linux 虚拟机配置

    系统配置:

    • 虚拟机:一个master(Master.Hadoop),两个slave(Slave1.Hadoop, Slave2.Hadoop)
    • 网络设置:我NAT的方式
    • 内存:每个虚拟机配置1024M内存
    • 分区:自动
    • 软件选择:最小安装,注意选择开发工具
    • 进行以下步骤前,确保3台虚拟机与主机之间可以相互ping通
    1.  
      yum search ifconfg
    2.  
      yum install net-tools.x86_64
    • 1
    • 2
    • 1
    • 2
    • 1
    • 2

    完成其它两个虚拟机的安装:

    • 两个slave的hostname可以改成Slave1.Hadoop, Slave2.Hadoop,方便区分

    安装完后各个虚拟机的ip配置(参考用)

    主机ip地址
    master.hadoop 192.168.202.128
    slave1.hadoop 192.168.202.129
    slave2.hadoop 192.168.202.130

    配置本地hosts

    、、需把下图红框内容删除,否则启动有问题。

    • 输入指令
    1.  
      vi /etc/hosts
    2.  
       
    3.  
      // 将以下数据复制进入各个主机中
    4.  
       
    5.  
      192.168.202.128 master.hadoop
    6.  
      192.168.202.129 slave1.hadoop
    7.  
      192.168.202.130 slave2.hadoop
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 1
    • 2
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 使用以下指令对master主机中进行测试,可使用类似指令在slave主机测试
    1.  
      ping slave1.hadoop
    2.  
      ping slave2.hadoop
    • 1
    • 2
    • 3
    • 1
    • 2
    • 3
    • 1
    • 2
    • 3

    配置Master无密码登录所有Salve

    以下在Master主机上配置

    • 输入以下指令生成ssh,过程中遇到需要输入密码,只需执行回车Enter即可
    1.  
      ssh-keygen
    2.  
       
    3.  
      // 会生成两个文件,放到默认的/root/.ssh/文件夹中
    • 1
    • 2
    • 3
    • 1
    • 2
    • 3
    • 1
    • 2
    • 3
    • 把id_rsa.pub追加到授权的key里面去
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    • 1
    • 1
    • 1
    • 修改文件”authorized_keys”权限
    chmod 600 ~/.ssh/authorized_keys
    • 1
    • 1
    • 1
    • 设置SSH配置
    1.  
      vi /etc/ssh/sshd_config
    2.  
       
    3.  
      // 以下三项修改成以下配置
    4.  
       
    5.  
      RSAAuthentication yes # 启用 RSA 认证
    6.  
       
    7.  
      PubkeyAuthentication yes # 启用公钥私钥配对认证方式
    8.  
       
    9.  
      AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 重启ssh服务
    service sshd restart
    • 1
    • 1
    • 1
    • 把公钥复制所有的Slave机器上
    1.  
      // scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/
    2.  
       
    3.  
      scp ~/.ssh/id_rsa.pub root@192.168.202.129:~/
    4.  
      scp ~/.ssh/id_rsa.pub root@192.168.202.130:~/
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4

    以下在Slave主机上配置

    • 在slave主机上创建.ssh文件夹
    1.  
      mkdir ~/.ssh
    2.  
       
    3.  
      // 修改权限
    4.  
      chmod 700 ~/.ssh
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 追加到授权文件”authorized_keys”
    1.  
      cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
    2.  
       
    3.  
      // 修改权限
    4.  
      chmod 600 ~/.ssh/authorized_keys
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 删除无用.pub文件
    rm –r ~/id_rsa.pub
    • 1
    • 1
    • 1

    在master主机下进行测试

    1.  
      ssh 192.168.202.129
    2.  
      ssh 192.168.202.130
    3.  
       
    4.  
      // 如果能够分别无密码登陆slave1, slave2主机,则成功配置
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4

    进行jdk, hadoop软件安装

    jdk安装:

    • 在/usr下创建java文件夹
    • 使用第三方软件将jdk压缩包文件传到3台虚拟主机中
    • 使用以下指令进行加压
    1.  
      tar zxvf jdk-8u45-linux-x64.tar.gz
    2.  
       
    3.  
      // 解压后可以删除掉gz文件
    4.  
      rm jdk-8u45-linux-x64.tar.gz
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
    • 配置jdk环境变量
    vi   /etc/profile
    
    • 1
    • 2
    • 1
    • 2
    • 1
    • 2
    • 添加Java环境变量
    1.  
       
    2.  
      // 将以下数据复制到文件底部
    3.  
       
    4.  
      export JAVA_HOME=/usr/java/jdk1.8.0_45
    5.  
       
    6.  
      export JRE_HOME=/usr/java/jdk1.8.0_45/jre
    7.  
       
    8.  
      export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
    9.  
       
    10.  
      export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 使配置生效
    source /etc/profile
    • 1
    • 1
    • 1
    • 验证安装成功
    1.  
      java -version
    2.  
       
    3.  
      // 如果出现以下信息,则配置成功
    4.  
      java version "1.8.0_45"
    5.  
      Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
    6.  
      Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    Hadoop安装

    • 把下载的hadoop压缩文件传到/usr目录下
    • 解压hadoop-2.7.4.tar.gz文件,并重命名
    1.  
      cd /usr
    2.  
      tar zxvf hadoop-2.7.4.tar.gz
    3.  
      mv hadoop-2.7.4 hadoop
    4.  
       
    5.  
      // 删除hadoop-2.7.4.tar.gz文件
    6.  
      rm –rf hadoop-2.7.4.tar.gz
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 在”/usr/hadoop”下面创建tmp文件夹
    1.  
      cd /usr/hadoop
    2.  
      mkdir tmp
    • 1
    • 2
    • 1
    • 2
    • 1
    • 2
    • 把Hadoop的安装路径添加到”/etc/profile”中
    1.  
      vi /etc/profile
    2.  
       
    3.  
      // 将以下数据加入到文件末尾
    4.  
       
    5.  
      export HADOOP_INSTALL=/usr/hadoop
    6.  
      export PATH=${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin:${PATH}
    7.  
      export HADOOP_MAPRED_HOME=${HADOOP_INSTALL}
    8.  
      export HADOOP_COMMON_HOME=${HADOOP_INSTALL}
    9.  
      export HADOOP_HDFS_HOME=${HADOOP_INSTALL}
    10.  
      export YARN_HOME=${HADOOP_INSTALLL}
    11.  
      export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_INSTALL}/lib/natvie
    12.  
      export HADOOP_OPTS="-Djava.library.path=${HADOOP_INSTALL}/lib:${HADOOP_INSTALL}/lib/native"
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 重启”/etc/profile”
    source /etc/profile
    • 1
    • 1
    • 1

    配置hadoop(先只在Master主机配置,配置完后传入两个Slave主机)

    • 设置hadoop-env.sh和yarn-env.sh中的java环境变量
    1.  
      cd /usr/hadoop/etc/hadoop/
    2.  
      vi hadoop-env.sh
    3.  
       
    4.  
      // 修改JAVA_HOME
    5.  
      export JAVA_HOME=/usr/java/jdk1.8.0_45
    • 1
    • 2
    • 3
    • 4
    • 5
    • 1
    • 2
    • 3
    • 4
    • 5
    • 1
    • 2
    • 3
    • 4
    • 5
    • 配置core-site.xml文件
    1.  
      vi core-site.xml
    2.  
       
    3.  
      // 修改文件内容为以下
    4.  
      <configuration>
    5.  
       
    6.  
      <property>
    7.  
       
    8.  
      <name>hadoop.tmp.dir</name>
    9.  
       
    10.  
      <value>/usr/hadoop/tmp</value>
    11.  
       
    12.  
      <description>A base for other temporary directories.</description>
    13.  
       
    14.  
      </property>
    15.  
       
    16.  
      <property>
    17.  
       
    18.  
      <name>fs.default.name</name>
    19.  
       
    20.  
      <value>hdfs://master.hadoop:9000</value>
    21.  
       
    22.  
      </property>
    23.  
      </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 配置hdfs-site.xml文件
    1.  
      vi hdfs-site.xml
    2.  
       
    3.  
       
    4.  
      // 修改文件内容为以下
    5.  
       
    6.  
      <configuration>
    7.  
      <property>
    8.  
      <name>dfs.namenode.name.dir</name>
    9.  
      <value>file:///usr/hadoop/dfs/name</value>
    10.  
      </property>
    11.  
      <property>
    12.  
      <name>dfs.datanode.data.dir</name>
    13.  
      <value>file:///usr/hadoop/dfs/data</value>
    14.  
      </property>
    15.  
      <property>
    16.  
      <name>dfs.replication</name>
    17.  
      <value>1</value>
    18.  
      </property>
    19.  
       
    20.  
      <property>
    21.  
      <name>dfs.nameservices</name>
    22.  
      <value>hadoop-cluster1</value>
    23.  
      </property>
    24.  
      <property>
    25.  
      <name>dfs.namenode.secondary.http-address</name>
    26.  
      <value>master.hadoop:50090</value>
    27.  
      </property>
    28.  
      <property>
    29.  
      <name>dfs.webhdfs.enabled</name>
    30.  
      <value>true</value>
    31.  
      </property>
    32.  
      </configuration>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 配置mapred-site.xml文件,如没有此文件需要手动创建,文件头尾加上configuration标签,把下面内容复制到中间即可
    1.  
      vi mapred-site.xml
    2.  
       
    3.  
      // 修改文件为以下
    4.  
       
    5.  
      <property>
    6.  
      <name>mapreduce.framework.name</name>
    7.  
      <value>yarn</value>
    8.  
      <final>true</final>
    9.  
      </property>
    10.  
       
    11.  
      <property>
    12.  
      <name>mapreduce.jobtracker.http.address</name>
    13.  
      <value>master.hadoop:50030</value>
    14.  
      </property>
    15.  
      <property>
    16.  
      <name>mapreduce.jobhistory.address</name>
    17.  
      <value>master.hadoop:10020</value>
    18.  
      </property>
    19.  
      <property>
    20.  
      <name>mapreduce.jobhistory.webapp.address</name>
    21.  
      <value>master.hadoop:19888</value>
    22.  
      </property>
    23.  
      <property>
    24.  
      <name>mapred.job.tracker</name>
    25.  
      <value>http://master.hadoop:9001</value>
    26.  
      </property>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 配置yarn-site.xml文件
    1.  
      vi yarn-site.xml
    2.  
       
    3.  
      // 修改文件内容为以下
    4.  
       
    5.  
      <property>
    6.  
      <name>yarn.resourcemanager.hostname</name>
    7.  
      <value>master.hadoop</value>
    8.  
      </property>
    9.  
       
    10.  
      <property>
    11.  
      <name>yarn.nodemanager.aux-services</name>
    12.  
      <value>mapreduce_shuffle</value>
    13.  
      </property>
    14.  
      <property>
    15.  
      <name>yarn.resourcemanager.address</name>
    16.  
      <value>master.hadoop:8032</value>
    17.  
      </property>
    18.  
      <property>
    19.  
      <name>yarn.resourcemanager.scheduler.address</name>
    20.  
      <value>master.hadoop:8030</value>
    21.  
      </property>
    22.  
      <property>
    23.  
      <name>yarn.resourcemanager.resource-tracker.address</name>
    24.  
      <value>master.hadoop:8031</value>
    25.  
      </property>
    26.  
      <property>
    27.  
      <name>yarn.resourcemanager.admin.address</name>
    28.  
      <value>master.hadoop:8033</value>
    29.  
      </property>
    30.  
      <property>
    31.  
      <name>yarn.resourcemanager.webapp.address</name>
    32.  
      <value>master.hadoop:8088</value>
    33.  
      </property>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34

    配置Hadoop的集群

    • 将Master中配置好的hadoop传入两个Slave中
    1.  
      scp -r /usr/hadoop root@192.168.202.129:/usr/
    2.  
      scp -r /usr/hadoop root@192.168.202.130:/usr/
    • 1
    • 2
    • 1
    • 2
    • 1
    • 2
    • 修改Master主机上的slaves文件
    1.  
      cd /usr/hadoop/etc/hadoop
    2.  
      vi slaves
    3.  
       
    4.  
      // 将文件内容修改为
    5.  
      slave1.hadoop
    6.  
      slave2.hadoop
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 格式化HDFS文件系统
    • 注意:只需初始化一次便可。若执行多次,可能会导致namenode与datanode的clusterID不一致,从而导致无法启动
    1.  
      // 在Master主机上输入以下指令
    2.  
      hadoop namenode -format
    • 1
    • 2
    • 1
    • 2
    • 1
    • 2
    • 启动hadoop
    1.  
       
    2.  
       
    3.  
      // 关闭机器防火墙 根据自己的版本不同,命令有所不同
    4.  
      CentOS 7
    5.  
      关闭firewall:
    6.  
      systemctl stop/start firewalld.service 停止/启动firewall
    7.  
      systemctl disable firewalld.service 禁止firewall开机启动
    8.  
      firewall-cmd --state 查看默认防火墙状态
    9.  
       
    10.  
      cd /usr/hadoop/sbin
    11.  
      ./start-all.sh
    12.  
       
    13.  
      // 更推荐的运行方式:
    14.  
      cd /usr/hadoop/sbin
    15.  
      ./start-dfs.sh
    16.  
      ./start-yarn.sh
    17.  
       
    18.  
      应该输出以下信息:
    19.  
       
    20.  
      Starting namenodes on [Master.Hadoop]
    21.  
      Master.Hadoop: starting namenode, logging to /usr/hadoop/logs/hadoop-root-namenode-localhost.localdomain.out
    22.  
      Slave2.Hadoop: starting datanode, logging to /usr/hadoop/logs/hadoop-root-datanode-Slave2.Hadoop.out
    23.  
      Slave1.Hadoop: starting datanode, logging to /usr/hadoop/logs/hadoop-root-datanode-Slave1.Hadoop.out
    24.  
       
    25.  
      starting yarn daemons
    26.  
      starting resourcemanager, logging to /usr/hadoop/logs/yarn-root-resourcemanager-localhost.localdomain.out
    27.  
      Slave1.Hadoop: starting nodemanager, logging to /usr/hadoop/logs/yarn-root-nodemanager-Slave1.Hadoop.out
    28.  
      Slave2.Hadoop: starting nodemanager, logging to /usr/hadoop/logs/yarn-root-nodemanager-Slave2.Hadoop.out
    29.  
       
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 验证hadoop
    1.  
      // 1. 直接在Master或Slave输入指令:
    2.  
      jps
    3.  
       
    4.  
      // 应该输出以下信息(端口号仅供参考)
    5.  
      Master:
    6.  
      3930 ResourceManager
    7.  
      4506 Jps
    8.  
      3693 NameNode
    9.  
       
    10.  
      Slave:
    11.  
      2792 NodeManager
    12.  
      2920 Jps
    13.  
      2701 DataNode
    14.  
       
    15.  
      // 2. 输入以下指令
    16.  
      hadoop dfsadmin -report
    17.  
       
    18.  
      // 应该输出以下信息:
    19.  
      Configured Capacity: 14382268416 (13.39 GB)
    20.  
      Present Capacity: 10538565632 (9.81 GB)
    21.  
      DFS Remaining: 10538557440 (9.81 GB)
    22.  
      DFS Used: 8192 (8 KB)
    23.  
      DFS Used%: 0.00%
    24.  
      Under replicated blocks: 0
    25.  
      Blocks with corrupt replicas: 0
    26.  
      Missing blocks: 0
    27.  
      Missing blocks (with replication factor 1): 0
    28.  
       
    29.  
      -------------------------------------------------
    30.  
      Live datanodes (2):
    31.  
       
    32.  
      Name: 192.168.1.124:50010 (Slave2.Hadoop)
    33.  
      Hostname: Slave2.Hadoop
    34.  
      Decommission Status : Normal
    35.  
      Configured Capacity: 7191134208 (6.70 GB)
    36.  
      DFS Used: 4096 (4 KB)
    37.  
      Non DFS Used: 1921933312 (1.79 GB)
    38.  
      DFS Remaining: 5269196800 (4.91 GB)
    39.  
      DFS Used%: 0.00%
    40.  
      DFS Remaining%: 73.27%
    41.  
      Configured Cache Capacity: 0 (0 B)
    42.  
      Cache Used: 0 (0 B)
    43.  
      Cache Remaining: 0 (0 B)
    44.  
      Cache Used%: 100.00%
    45.  
      Cache Remaining%: 0.00%
    46.  
      Xceivers: 1
    47.  
      Last contact: Thu Jul 02 10:45:04 CST 2015
    48.  
       
    49.  
       
    50.  
      Name: 192.168.1.125:50010 (Slave1.Hadoop)
    51.  
      Hostname: Slave1.Hadoop
    52.  
      Decommission Status : Normal
    53.  
      Configured Capacity: 7191134208 (6.70 GB)
    54.  
      DFS Used: 4096 (4 KB)
    55.  
      Non DFS Used: 1921769472 (1.79 GB)
    56.  
      DFS Remaining: 5269360640 (4.91 GB)
    57.  
      DFS Used%: 0.00%
    58.  
      DFS Remaining%: 73.28%
    59.  
      Configured Cache Capacity: 0 (0 B)
    60.  
      Cache Used: 0 (0 B)
    61.  
      Cache Remaining: 0 (0 B)
    62.  
      Cache Used%: 100.00%
    63.  
      Cache Remaining%: 0.00%
    64.  
      Xceivers: 1
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 访问网页
    1.  
      // CentOS7中iptables这个服务的配置文件没有了,采用了新的firewalld
    2.  
      // 输入以下指令后,可以在真机浏览器上访问hadoop网页
    3.  
      systemctl stop firewalld
    4.  
       
    5.  
      // 输入以下网页,进入hadoop管理首页(IP地址为master 主机IP)
    6.  
      http://192.168.202.128:50070/dfshealth.html#tab-overview
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
  • 相关阅读:
    postgreSQL入门命令
    JDBC连接数据库
    nano编辑器使用教程
    Linux上vi(vim)编辑器使用教程
    【编程思想】【设计模式】【行为模式Behavioral】状态模式State
    【编程思想】【设计模式】【行为模式Behavioral】Specification
    【编程思想】【设计模式】【行为模式Behavioral】registry
    【编程思想】【设计模式】【行为模式Behavioral】Publish_Subscribe
    【编程思想】【设计模式】【行为模式Behavioral】观察者模式Observer
    【编程思想】【设计模式】【行为模式Behavioral】备忘录模式Memento
  • 原文地址:https://www.cnblogs.com/TOLLA/p/9647140.html
Copyright © 2020-2023  润新知