安装hadoop2.4.1

 

1上传hadoop包

2解压hadoop包

首先在根目录创建一个目录

mkdir /itcast

tar -zxvf hadoop-2.4.1.tar.gz -C /itcast/

hadoop的配置文件在：/itcast/hadoop-2.4.1/etc/hadoop下

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

伪分布式需要修改5个配置文件

3.配置hadoop

第一个：修改Hadoop的环境变量 hadoop-env.sh

vim hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml
<configuration>
        <property><!-- 制定HDFS的老大（NameNode）的地址 -->
                <name>fs.defaultFS</name>
                <value>hdfs://itcast01:9000</value>
        </property>
        <property><!-- 指定hadoop运行时产生文件的存储目录 -->
                <name>hadoop.tmp.dir</name>
                <value>/itcast/hadoop-2.4.1/tmp</value>
        </property>
</configuration>

第三个：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

<property><!-- 指定mr运行在yarn上 -->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

第五个：yarn-site.xml

<property><!-- 指定YARN的老大（ResourceManager）的地址 -->
    <name>yarn.resourcemanager.hostname</name>
    <value>itcast01</value>
</property>

<property><!-- reducer获取数据的方式 -->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

4.将hadoop添加到环境变量

vim /etc/proflie

export JAVA_HOME=/usr/java/jdk1.7.0_65

export HADOOP_HOME=/itcast/hadoop-2.4.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

5初始化HDFS (就是格式化文件系统)

格式化只需要一次就行，没有必要每次都格式化，格式化会清除里面的数据

格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format  过时)

格式化成功的提示中有一行：

16/04/20 05:48:09 INFO common.Storage: Storage directory /itcast/hadoop-2.4.1/tmp/dfs/name has been successfully formatted.

6.启动hadoop

方式一:sbin/start-all.sh （可以使用，但是已经过时了，使用时要不断的输入密码）

方式二:先启动HDFS

      sbin/start-dfs.sh

再启动YARN

      sbin/start-yarn.sh

7.验证是否启动成功

使用jps命令验证

27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.8.118:50070 （HDFS管理界面）

http://192.168.8.118:8088 （MR管理界面）

a.测试HDFS

上传文件到hdfs：

hadoop fs -put /root/soft/jdk-7u79-linux-i586.tar.gz  /*Linux环境下的文件*/

         hdfs://itcast01:9000/jdk   /*将hdfs当做一个网盘*/

从hdfs下载文件到本地：

hadoop fs -get hdfs://itcast01:9000/jdk /root/soft/jdk1.7

b.测试MR和YARN

进入：/itcast/hadoop-2.4.1/share/hadoop/mapreduce下运行一个Hadoop自带的例子

hadoop jar

       hadoop-mapreduce-examples-2.4.1.jar  /*例子*/

       wordcount /*统计输入文件的字符并输出到知道那个的文件*/

        hdfs://itcast01:9000/worlds /*输入*/

        hdfs://itcast01:9000/wcout2 /*输出*/

可以在http://192.168.1.122:50070/explorer.html#/  中查看生成的文件