hadoop-2.6.0集群开发环境配置
一．环境说明
1.1安装环境说明
本例中，操作系统为CentOS 6.6, JDK版本号为JDK 1.7，Hadoop版本号为Apache Hadoop 2.6.0
现有四台机器例如以下
10.25.100.130 node01 //namenode
10.25.100.131 node02 //datanode
10.25.100.132 node03 //datanode
10.25.100.133 node04 //datanode
二.安装jdk，此处使用jdk1.7。
1.换文件夹到/usr 文件夹下。 cd /usr
2.创建java 文件夹 ， mkdir java
3.将jkd拷贝到/usr/java文件夹 cp jdk-7u75-linux-x64.tar.gz /usr/java
4.解压jdk， tar zxvf jdk-7u75-linux-x64.tar.gz
5.配置环境变量 vi /etc/profile
添加记录 ：
export JAVA_HOME=/usr/java/jdk1.7.0_75
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
6.使环境变量生效 source /etc/profile
7.验证是否生效 java -version
[root@localhost java]# java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
[root@localhost ~]#
三. 改动主机名称
1.
[root@localhost ~]# vi /etc/hosts 改动并添加后为
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost
10.25.100.130 node01
10.25.100.131 node02
10.25.100.132 node03
10.25.100.133 node04
2.
[root@localhost ~]# vi /etc/sysconfig/network 将/etc/syscinfig/network 下的HOSTNAME改为node01
NETWORKING=yes
HOSTNAME=node01
3.再使用hostname命令指定一次
[root@localhost ~]# hostname node01
仅仅要又一次登入(重新启动)。命令提示字串就会改成[root@node01 ~]#
同理(1,2,3步骤)改动其他几台机器
四. 制作ssh无password登录
1.先分别制作每台主机的无password登录
[root@node01 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
[root@node01 ~]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
[root@node01 ~]# ssh node01
Last login: Wed Jul 29 18:52:44 2015 from localhost
[root@node01 ~]#
同理制作其他几台机器
2.在/root下 生成一个.ssh目录
[root@node01 ~]# cd .ssh/
[root@node01 .ssh]# ls
authorized_keys id_dsa id_dsa.pub known_hosts
[root@node01 .ssh]#
3.然后将authorized_keys文件复制到其他几台机器的/root下
[root@node01 .ssh]# scp authorized_keys root@node02:~/
[root@node01 .ssh]# scp authorized_keys root@node03:~/
[root@node01 .ssh]# scp authorized_keys root@node04:~/
4.分别进入其他几台机器将拷贝过来的文件进行重定向
[root@node02 ~]# cat authorized_keys >> ~/.ssh/authorized_keys
[root@node03 ~]# cat authorized_keys >> ~/.ssh/authorized_keys
[root@node04 ~]# cat authorized_keys >> ~/.ssh/authorized_keys
5.此时，就完毕了ssh无password登录，是不是非常easy呢。我们能够做一个測试
在node01主机下登录node04
[root@node01 .ssh]# ssh node04
Last login: Wed Jul 29 18:48:13 2015 from 10.25.100.100
[root@node04 ~]#
6.假设退出连接输入exit
[root@node04 ~]# exit
logout
Connection to node04 closed.b
[root@node01 .ssh]#
五.hadoop安装 此操作在node01机上进行，用root用户
如今就開始了我们的hadoop搭建
1， 首先在/home下建立一个hadoop目录
将hadoop安装包hadoop-2.6.0.tar.gz复制到/home/hadoop下进行解压 tar zxvf hadoop-2.6.0.tar.gz
1． 改动配置文件 [root@node01 home]# cd hadoop/
[root@node01 hadoop]# cd hadoop-2.6.0/etc/hadoop/
3.改动配置文件 core-site.xml
[root@node01 hadoop]# vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value> //node01是主server机名
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.6</value> /*防止后面须要每一次又一次格式化。这个文件夹不须要手动建立，执行时会自己主动建立*/
</property>
</configuration>
4.改动hdfs-site.xml
[root@node01 hadoop]# vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value> //datanode的节点个数，默认的为3个
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
</configuration>
5.配置执行环境 vi hadoop-env.sh
[root@node01 hadoop]# vi hadoop-env.sh在最后加入以下一句话
export JAVA_HOME=/usr/java/jdk1.7.0_55
6.配置slaves
[root@node01 hadoop]# vi slaves
改动文件中的内容为 datanode的节点
node02
node03
node04
7.拷贝安装，配置的hadoop到其他几台机器
进入/home文件夹下将文件夹/hadoop复制到其他几台机器的/home下
[root@node01 hadoop]# cd /home/
[root@node01 home]# scp -r hadoop root@node02:/home/
[root@node01 home]# scp -r hadoop root@node03:/home/
[root@node01 home]# scp -r hadoop root@node04:/home/
将三台机器的防火墙关闭掉：
service iptables stop
8.如今，你能够检查ssh到localhost没有password，这一步假设不运行，可能后面的结果Live Nodes会为0
[root@node01 home]# ssh loaclhost
9. 格式化文件系统
cd /home/hadoop/hadoop-2.6.0/
[root@node01 home]# cd hadoop/hadoop-2.6.0/
[root@node01 hadoop-2.6.0]# bin/hdfs namenode –format
10. 启动hadoop
[root@node01 hadoop-2.6.0]# sbin/start-dfs.sh
查看hadoop进程，验证是否启动成功
[root@node01 hadoop-2.6.0]# jps
3628 SecondaryNameNode
3435 NameNode
7108 Jps
说明已经启动，同理查看其它几台机器
11.查看集群执行情况，在windows下的浏览器上输入
12.关闭hadoop
[root@node01 hadoop-2.6.0]# sbin/stop-dfs.sh
查看hadoop进程，验证是否关闭成功
[root@node01 hadoop-2.6.0]# jps
7108 Jps
说明已经关闭。同理查看其它几台机器
至此一个简单的hadoop集群搭建hdfs就算完毕了。兴许学习还须要大家继续努力探索。在这就不再赘述。能够參考hadoop官方站点。http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html，Apache Hadoop 2.6.0安装学习文档教程，祝大家好运！