• Hadoop 新生报道(二) hadoop2.6.0 集群系统版本安装和启动配置


      本次基于Hadoop2.6版本进行分布式配置,Linux系统是基于CentOS6.5 64位的版本。在此设置一个主节点和两个从节点。

      准备3台虚拟机,分别为:

    主机名

    IP地址

    master

    192.168.80.10

    slave1

    192.168.80.11

    slave2

    192.168.80.12

      1.修改主机名称,把三个节点分别修改下面的文件,修改主机名为masterslave1slave2root用户操作),重启生效

        vi /etc/sysconfig/network

      2.把三个节点的防火墙关闭,在三个节点分别执行(root用户操作)

        /etc/init.d/iptables stop

      

      3.在三个节点修改配置hosts文件,在hosts文件中分别配置三个节点的主机名 ip地址映射(root用户操作)

      4.masterslave之间配置SSH互信(hadoop用户操作)

      分别在masterslave1masterslave2mastermaster之间配置互信

        a) 分别在masterslave1slave2执行下面的命令生成公钥和私钥

        ssh-keygen

      

      在hadoop用户根目录下,有一个.ssh目录

      id_rsa 私钥

      id_rsa.pub 公钥

      known_hosts 通过SSH链接到本主机,都会在这里有记录

      b) master输入下面的命令,和masterslave1slave2创建互信

       ssh-copy-id master

      ssh-copy-id slave1

      ssh-copy-id slave2

      注意:复制的过程中需要输入信任主机的密码

      !!!!每次ssh完都会进入其他的主机,千万在ssh完了以后退出对配置机器的远程控制,ctrl+d

      5.把JDKHadoop安装包(资料包目录下的文件)上传到master节点系统(hadoop用户的根目录),用XFtp

      6.在三个节点下面配置jdkhadoop用户的根目录,Jdk解压,(hadoop用户操作)

       tar -zxvf jdk-8u65-linux-x64.tar.gz

      7.三个节点配置环境变量,需要修改/etc/profile文件(root用户操作)

      切到root用户,输入su命令

      su

      vi /etc/profile

       进去编辑器后,输入i,进入vi编辑器的插入模式,profile文件最后添加

    JAVA_HOME=/home/hadoop/jdk1.8.0_65

    export PATH=$PATH:$JAVA_HOME/bin

      编辑完成后,按下esc退出插入模式

      输入:,这时在左下角有一个冒号的标识

      q   退出不保存

      wq  保存退出

      q!   强制退出

       8.在三个节点把修改的环境变量生效(hadoop用户操作),jdk配置完成

       source /etc/profile

      9.下面配置hadoophadoop用户的根目录,解压hadoop用户操作)

      tar -zxvf hadoop-2.6.0.tar.gz

      10.修改配置文件hadoop-2.6.0/etc/hadoop/slaves,输入下面内容,每一行是一个从节点主机名称hadoop用户操作)

      slave1

      slave2

      12.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.shhadoop用户操作)

      export JAVA_HOME=/home/hadoop/jdk1.8.0_65

      13.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作)

     <property>

      <name>fs.defaultFS</name>

      <value>hdfs://master:9000</value>

     </property>

     <property>

       <name>io.file.buffer.size</name>

       <value>131072</value>

     </property>

     <property>

       <name>hadoop.tmp.dir</name>

       <value>/home/hadoop/hadoop/tmp</value>

       <description>Abasefor other temporary directories.</description>

     </property>

      13.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加hadoop用户操作)

      

    <property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>master:9001</value>

     </property>

     <property>

       <name>dfs.namenode.name.dir</name>

       <value>/home/hadoop/hadoop/dfs/name</value>

     </property>

     <property>

       <name>dfs.datanode.data.dir</name>

       <value>/home/hadoop/hadoop/dfs/data</value>

     </property>

     <property>

       <name>dfs.replication</name>

       <value>2</value>

     </property>

      14.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml hadoop用户操作),这个文件没有,需要复制一份

      cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

      添加

    <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

     </property>

     <property>

       <name>mapreduce.jobhistory.address</name>

       <value>master:10020</value>

     </property>

     <property>

       <name>mapreduce.jobhistory.webapp.address</name>

       <value>master:19888</value>

     </property>

       15.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作)

    <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

     </property>

     <property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

     </property>

     <property>

       <name>yarn.resourcemanager.address</name>

       <value>master:8032</value>

     </property>

     <property>

       <name>yarn.resourcemanager.scheduler.address</name>

       <value>master:8030</value>

     </property>

     <property>

       <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>master:8035</value>

     </property>

     <property>

       <name>yarn.resourcemanager.admin.address</name>

       <value>master:8033</value>

     </property>

     <property>

       <name>yarn.resourcemanager.webapp.address</name>

       <value>master:8088</value>

     </property>

       16.将配置好的hadoop文件copy到另外slave机器上(hadoop用户操作)

        scp -r hadoop-2.6.0/ hadoop@slave1:~/hadoop

        scp -r hadoop-2.6.0/ hadoop@slave2:~/hadoop

      17.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

      bin/hdfs namenode -format

      注意:格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在三个节点用户根目录里执行 rm -rf /home/hadoop/hadoop/dfs

      18.启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作)

      sbin/start-all.sh

       19.查看hadoopweb接口,在浏览器输入:主机名:50070。如:http://master:50070

      启动以后jps查看,master有4个线程,slave1和slave2都有3个线程,其中都有一个是jps

  • 相关阅读:
    MS对SharePoint的支持力度...?
    一个很Cool的特性
    朋友landws做的一个ORM Component
    今天才知道原来IE扩展了一个showModalDialog()
    解决了那个SharePoint的小问题
    工作、SOA、MBF…
    DiskBased Caching in Whidbey, Longhorn...
    昨晚上写的关于IBuySpy里面用户权限验证方面的东西
    昨晚上写的关于IBuySpy里面用户权限验证方面的东西
    加入定制的WebService到SharePoint站点中
  • 原文地址:https://www.cnblogs.com/alexfly/p/7261335.html
Copyright © 2020-2023  润新知