Hadoop安装记录

参考网页：http://vampire1126.iteye.com/blog/891693

http://vampire1126.iteye.com/blog/891735

基本上是参照这个博客做下来的，然后自己实现了下。

-----------------------------------------------------正式工作------------------------------------------------------

安装软件：

VMware workstation 8

Ubuntu 10.04LTS

总体步骤：

1.安装Ubuntu，在Ubuntu中装好jdk，hadoop和ssh-server。

2.配置jdk环境变量，配置hadoop，配置ssh-key

3.单机环境运行hadoop监测是否成功

4.克隆单机hadoop环境的ubuntu，将两台ubuntu加入一个局域网

5.配置master和slave的ip，并测试是否ping通

6.在所有结点上配置相关master和slave信息

7.在slave中拷贝master和JobTracker的公钥，在JobTracker上拷贝master公约

8.启动hadoop，并用wordcount程序测试是否搭建成功

详细步骤：

1. 利用VMware安装虚拟机Ubuntu，我选择的是10.04，因为10.04是长效支持版本（long-term supported）。常规的安装过程，不累述。

2. 进入Ubuntu之后，选择软件源为中国的源，这里我选择了163的源。

3. 安装JDK

a) 在usr下新建Java文件夹，并拷贝下载好的jdk

b) 改变Java目录为可执行，进入Java这个目录，并执行安装。

4. 安装hadoop

下载hadoop并将其拷贝到usr/local文件夹下，并解压缩，然后将带版本号的文件夹重命名为hadoop。对应命令如下：

5. 创建hadoop的用户组，并在hadoop用户组中添加hadoop用户。

6. 为添加的用户提供root权限。

7. 配置Java变量

打开etc下的profile文件，在文件的后面加上环境变量。

改好后，重新启动虚拟机。

8. 重启后使用hadoop用户登录

检测java环境变量是否配置好

9. 安装ssh-server。我第一次尝试的时候是在ubuntu11.10，需要事先update一下apt-get

创建一个rsa的ssh-key

将生成的ssh-key加入到信任列表：

10. 配置hadoop

为hadoop添加java环境变量：

配置core-site.xml

（上图是我已经配置好集群之后的截图，如果需要是单机环境，将master换为localhost。）

配置mapred-site.xml

（上图是我已经配置好集群之后的截图，如果需要是单机环境，将master换为localhost。）

11. 运行测试

格式化namenode

为hadoop用户赋予hadoop文件夹的使用权限

启动hadoop

利用jps查看已经启动的服务

12. 运行wordcount程序

在tmp文件夹下添加一个文件作为测试：

将其上传到hdf文件系统中：

执行wordcount程序，并将结果上送至result

查看result的结果：

统计结果：

（如果还需要继续执行其余程序，应该将输出结果放到其他文件夹，否则会出现fileAlreadyExist的错误）

----------------------------------------------至此，单机模式已经匹配完成------------------------------

13. 克隆单机配置好hadoop环境的ubuntu

在VM的library中的Ubuntu点击右键，选择manage中的clone，然后按照提示做一个完整的克隆。（虚拟机需要在关闭状态）

14. 将两台Ubuntu加入到一个局域网中。

在虚拟机上点击右键，选择setting，点击Network Adapter，两台都选择同一个custom模式下同一个虚拟局域网。

15. 设置为其中一台为Master（因为在虚拟机中，因此随便选一台即可，之后不要混淆，实际中应选取性能强劲的为Master），极为UbuntuM，另一台为UbuntuS（Ubuntu Slave）。

分别配置两者的IP地址：

Master：

Slave：

并测试能否ping通过：

Master：

Slave ping的地址是192.168.1.10

16. 在所有结点上，配置/usr/local/Hadoop，以下是配置好的截图，配置过程只需要用gedit或者vi打开该文件并配置即可。

配置hosts

分别用vi打开下面画线的文件，添加内容或者修改内容，添加和修改的内容用黄线划出

配置hdfs-sites文件：

17. 在slave上拷贝master的密钥

将这些密钥添加到信任列表

18.在JobTracker上拷贝master的公钥并添加到信任列表

19.删除/home/hadoop下的tmp文件夹（对所有结点）

20.在master上格式化namenode

21. 启动hadoop

利用jps查看已经启动的服务

Master:

Slave:

22.在master上查看系统状态

23.按照单机模式，利用wordcount，测试成功。

-----------------------------集群模式搭建成功---------------------