hadoop最简伪分布式安装

本次安装运行过程使用的是Ubuntu16.04 64位+Hadoop2.5.2+jdk1.7.0_75

Notice：

Hadoop2.5.2版本默认只支持64位系统

使用的jdk可以为1.7和1.8版本的

安装过程：

1. 下载安装jdk1.7.0_75 

jourluohua@jourluohua-m:~/tools$ tar -xzvf jdk-7u75-linux-x64.tar.gz

2. 设置PATH等环境变量

jourluohua@jourluohua-m:~/tools$ sudo vi /etc/profile

在该文件下添加如下信息：

#set java environment

JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75

CLASSPATH=.:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

添加完成后，使环境变量生效

jourluohua@jourluohua-m:~/tools$ source /etc/profile

使用命令查看是否安装成功jdk

jourluohua@jourluohua-m:~/tools$ java –version

3. 下载安装hadoop-2.5.2.tar.gz

jourluohua@jourluohua-m:~/tools$ tar -xzvf hadoop-2.5.2.tar.gz

jourluohua@jourluohua-m:~/tools$ cd ./hadoop-2.5.2/

Notice:之后所有的运行操作都是在这个目录下完成的

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$

4. 格式化文件系统:

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop namenode -format

5. 修改配置文件：

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ vi ./etc/hadoop/hadoop-env.sh

将export JAVA_HOME修改成(相对路径会报错)

export JAVA_HOME=/home/jourluohua/tools/jdk1.7.0_75

6. 确保你的sshd服务已经启动：

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sudo /etc/init.d/ssh start

在这一步之后可以gen-key，作为一个安全通信协议（ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式），使用时需要密码，因此我们要设置成免密码登录，生成私钥和公钥，但是该步骤不是必须的，可以多输入几次密码，因此，没有添加到该教程中。

6.5 gen-key

切换到~目录

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cd ~

生成key

jourluohua@jourluohua-m:~$ ssh-keygen -t rsa

输入密码确认

切换到默认生成的ssh文件夹下

jourluohua@jourluohua-m:~/$ cd ./.ssh

生成相应的authorized文件

jourluohua@jourluohua-m:~/.ssh$ cp id_rsa.pub authorized_keys

切换回Hadoop目录

7. 开启dfs进程：

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ sbin/start-dfs.sh

这一步后，可以看到几个进程已经启动，如果出现connection refused错误，请回到第六步

8. 创建输入文件夹

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ mkdir input

9. 创建输入文件(这里将conf文件作为输入)：

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cp ./etc/hadoop/* ./input/

10. 运行官方的测试例子WordCount程序，并将结果保存到output中：

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount input output

11. 查看运行结果

jourluohua@jourluohua-m:~/tools/hadoop-2.5.2$ cat output/*