• Hadoop2.X版本伪分布式安装详细介绍【非抄袭,原创!】


    网上hadoop单节点安装文章真是一搜一大堆,可以这样说,全是垃圾,那些博主也不知道自己安装过没有。。反正就一堆的copy,我实在看不下去了。必须把我总结的写出来,如果你有任何问题随时联系我!

    E-Mail: yanghg@pku.edu.cn

    下面我以2.2.0为例子!注意这是单节点!!伪分布式!!不喜勿看

    Hadoop2.2.0(Yarn)安装详细过程

    一、运行一个单机版模式的hadoop伪分布式平台

    1、软件环境

               1、操作系统:

    由于linux的开源性、安全性等因素现有的hadoop集群多为linux平台,在这里采用适合个人安装的linux Ubuntu 12.04LTS版本去实现hadoop伪分布式平台。若采用window系统不能使开发者更好的体验hadoop框架的优越性能和其高效的性能。对于linux系统red hat、ubuntu、Debian、Gentoo、SuSE、Mandriva安装均相同。

               2、Java环境:

    在这里采用ubuntu上所推荐的java-7-openjdk。若采用sun公司的jdk,则需要向系统添加环境,这里不再进行赘述。

    3、SSH:在hadoop平台上,需要涉及resourcemanager与nodemanager之间通信,appmaster与container之间通信,用户数据之间的通信等。在通信过程中需要配置SSH无密码通信。

               4、hadoop版本:hadoop2.2.0(apache网站中所有1.0以上框架均适用)

    以上软件环境均在对应的开源官方网站下载,其中java环境和ssh均在ubuntu中使用apt-get install命令即可获得。

    注:修改过程可能使用到编辑软件为Vim。

    安装所需软件源:

    名称

    网址

    Ubuntu

    http://www.ubuntu.org.cn/download

    Hadoop2.2.0

    http://www.apache.org/dyn/closer.cgi/hadoop/common/

    Myeclipse

    http://www.myeclipseide.cn

    javaJDK

    Ubuntu控制台命令sudo apt-get install java-7-openjdk

    SSH

    Ubuntu控制台命令sudo apt-get install ssh-openserver

    Vim

    Ubuntu控制台命令sudo apt-get install vim

    二、安装过程

    2.1安装前准备工作

               配置yarn前需将javaJDK、SSH、vim安装完成,将hadoop包从apache网站下载到本地。

    测试javaJDK安装成功输入java –version出现下图

    测试vim安装成功输入vim后出现下图

    测试ssh会在配置无密码登陆时用到。

    2.2给用户hadoop加入root权限(在ubuntu12.04安装过程中用户名称设定为:hadoop

    控制台输入:Hadoop@hadoop:sudo vim /etc/sudoers

    在root下添加hadoop的权限

    Hadoop ALL=(ALL:ALL) ALL

     

    若ubuntu已经安装完成如想增加hadoop用户和用户组则需如下操作:

    1、增加hadoop用户组:sudo addgroup hadoop。

    2、增加hadoop用户并将其加入到hadoop用户组:sudo adduser -ingroup hadoop hadoop。

    3、将hadoop加入到root权限组。

    2、配置SSH无密码访问

    配置无密码访问后就不需要用户不停的输入访问密码,控制台命令如下:

    1、创建ssh-key,采用通用的rsa加密方式:ssh –keygen –t rsa –p “”

    回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的

    2、进入到~/.ssh目录下

    Hadoop@hadoop:Cd ~/.ssh

    3、将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的

    Hadoop@hadoop:Cat id_rsa.pub >> authorized_keys

    安装成功登陆测试:

    Hadoop@hadoop:ssh localhost

    出现上图即安装成功

    3.安装hadoop第二代框架

    将下载好的hadoop2.2.0 tar.gz使用tar xvzf解压后放在/esr/local,然后进入到/usr/local/hadoop/etc/hadoop

    具体文件配置如下:

    1、hadoop-env.sh配置

    在hadoop-env.sh添加Java环境(本机以openjdk7为例子)

    打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

    添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

    2、yarn-env.sh配置

    在yarn-env.sh添加java环境

    打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

    添加export Java_HOME=/usr/lib/jvm/java-7-openjdk-i386

    3、core-site.xml配置

    打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/core-site.xml

    添加

    <property>

               <name>fs.default.name</name>

               <value>hdfs://localhost:9000</value>

    </property>

    4、hdfs-site.xml配置

    打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

    添加:

    <property>

               <name>dfs.namenode.name.dir</name>

               <value>/usr/local/hadoop/dfs/name</value>

    </property>

    <property>

               <name>dfs.datanode.data.dir</name>

               <value>/usr/local/hadoop/dfs/data</value>

    </property>

    <property>

               <name>dfs.replicatiion</name>

               <value>2</value>

    </property>

    5、mapred-site.xml配置

    打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

    添加:

    <property>

               <name>mapreduce.framework.name</name>

               <value>yarn</value>

    </property>

    6、yarn-site.xml配置

    打开 Hadoop@hadoop:vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

    添加:

    <property>

               <name>yarn.nodemanager.aux-services</name>

               <value>mapreduce_shuffle</value>

    </property>

    <property>

               <name>yarn.nodemanager.aux-services.ampreduce.shuffle.class</name>

               <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    经过以上配置yarn配置完成,然后将所有服务一次启动,如下操作:

    1、启动hdfs:

                                                         Hadoop@hadoop:bin/hadoop namenode -format

                                                         Hadoop@hadoop:sbin/hadoop-daemon.sh start namenode

                                                         Hadoop@hadoop:sbin/hadoop-daemon.sh start datanode

    2、启动yarn:

                                                              Hadoop@hadoop:Sbin/yarn-daemon.sh start resourcemanager

                                                              Hadoop@hadoop:Sbin/yarn-daemon.sh start nodemanager

                                                              (或者利用全部启动的命令)Hadoop@hadoop:Sbin/start-all.sh

                                                              Hadoop@hadoop:Jps

    若处出现启动不成,则去查找log日志,log日志位于:/usr/local/hadoop/log目录下,yarn将namenode、datanode、nodemanager、resourcemanager分别记录与不同的日志中,方便用户的查找

    输入后若出现以下命令则安装成功:

    在浏览器中输入http://localhost:8088测试web端口是否没有被占用出现如下图所示:

    测试HDFS端口是否正常,在浏览器中输入:http://localhost:50070出现如下图所示:

    点击“Browse the filesystem”能进入到hdfs目录中则hdfs安装完成,如下图所示:

    经过以上配置并且在测试成功后我们的hadoop第二代平台(伪分布式)就全部安装完成了。接下来我们可以利用它去做许多有趣的事情了。

        

  • 相关阅读:
    CF521D Shop
    AGC033D Complexity
    CF576D Flights for Regular Customers
    LG4781 【模板】拉格朗日插值
    洛谷3288 SCOI2014方伯伯运椰子(分数规划+spfa)
    洛谷4606 SDOI2018战略游戏(圆方树+虚树)
    洛谷4630APIO2018铁人两项(圆方树+dp)
    CF487E Tourists + 圆方树学习笔记(圆方树+树剖+线段树+multiset)
    CF193D Two Segments (线段树+dp)(外加两个扩展题)
    洛谷4322 SHOI2014 三叉神经树(LCT+思维)
  • 原文地址:https://www.cnblogs.com/pkuYang/p/4158249.html
Copyright © 2020-2023  润新知