Hadoop单机模式安装

按照《Hadoop权威指南(第2版)》来说，hadoop的单机模式又叫做独立模式（standalone或者local mode），无需运行任何守护进程（daemon），所有程序都在单个JVM上执行，由于在本机模式下测试和调试MapReduce程序比较方便，因此该模式适宜用在开发阶段

环境及软件

JDK1.7

Hadoop-2.6.0

Ubuntu server 14.04

创建hadoop用户组和hadoop用户

*图中出现的“/home/hadoop已经存在。没有从/etc/skel复制文件”是因为我之前已经建立过一次hadoop账户，所以不会自动生成hadoop的home目录

为hadoop用户添加权限

编辑/etc/sudoers文件

sudo vi /etc/sudoers

在“root    ALL=(ALL:ALL) ALL”下面添加

hadoop  ALL=(ALL:ALL) ALL

然后保存，此时有可能会提示保存不成功，需要添加！强制执行，强制执行即可

切换到hadoop帐号登录

 

 

安装SSH并启动

sudo apt-get install openssh-server
sudo /etc/init.d/ssh start

设置免密码登录

生成私钥和公钥

ssh-keygen -t rsa -P ""

执行完命令时候，会提示“Enter file which to save the key”，直接回车即可

这时候在/home/hadoop/.ssh目录下会有一个.ssh文件生成id_rsa和id_rsa.pub两个密钥文件

然后将公钥追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试ssh 无密码登录

ssh localhost

出现如下图所示即为成功

exit退出ssh登录

安装JDK，配置环境变量

参考：JAVA笔记整理（二），下载安装JDK

安装hadoop

将hadoop解压至/opt/ hadoop-2.6.0

sudo tar -zxvf hadoop-2.6.0.tar.gz

将文件夹改名为hadoop2.6

sudo mv hadoop-2.6.0/ /opt/hadoop2.6

给hadoop用户添加对该目录的权限

sudo chmod 777 /opt/hadoop2.6

配置环境变量

sudo vi ~/.bashrc

在文件末端添加如下代码并保存

export HADOOP_INSTALL=/opt/hadoop2.6
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

使环境变量生效

source ~/.bashrc

使用hadoop自带的wordcount来验证是否安装成功

　　1.在/home/hadoop下创建test文件夹

      2.在test下创建文件一个文本文件，里面写上若干内容，最好字数多一些（可以将hadoop目录下的README.TXT复制过去）

      3进入/opt/hadoop目录下，执行命令

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount /home/hadoop/test /home/hadoop/output

执行如图所示

并且在   /home/hadoop/下生成了output文件夹

至此，hadoop单机模式已经安装成功！

参考自：

http://www.cnblogs.com/kinglau/p/3794433.html

http://www.cnblogs.com/luwikes/archive/2011/11/03/2234739.html

http://www.powerxing.com/install-hadoop/

《hadoop权威指南 第二版》