搭建环境:Centos x 6.4 64bit
1、安装JDK
我这里用的是64位机，要下载对应的64位的JDK,下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html，选择对应的JDK版本，解压JDK，然后配置环境变量,
注：这里有的人喜欢配置在当前用户里，我这里是配置的全局。
source /etc/profile
测试下JDK是否安装成功: java -version
2、编译前的准备(maven)
maven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的 就可以了
解压文件后，同样在/etc/profie里配置环境变量
验证配置是否成功: mvn -version
3、编译hadoop
这个地方你将会遇到各式各样的头疼问题
首先官方下载hadoop源码
如果是你32bit的机器，可以直接下载官方已经编译好的包，64bit的机子跑编译好的包跑不了。
由于maven国外服务器可能连不上，先给maven配置一下国内镜像，在maven目录下，conf/settings.xml,在<mirrors></mirros>里添加，原本的不要动
同样，在<profiles></profiles>内新添加
编译clean
发现异常
hadoop2.2.0编译需要protoc2.5.0的支持，所以还要下载protoc，下载地址:https://code.google.com/p/protobuf/downloads/list，要下载2.5.0版本噢
对protoc进行编译安装前先要装几个依赖包:gcc,gcc-c++,make 如果已经安装的可以忽略
安装protoc
安装完配置下环境变量，就不多说了，跟上面过程一样。
别急，还不要着急开始编译安装，不然又是各种错误,需要安装cmake,openssl-devel,ncurses-devel依赖
yum install cmake yum install openssl-devel yum install ncurses-devel
目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示下面错误：
1 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure: 2 [ERROR] /home/chuan/trunk/hadoop-common-project/hadoop-auth/src/test/java/org/apache/hadoop/security/authentication/client/AuthenticatorTestCase.java:[84,13] cannot access org.mortbay.component.AbstractLifeCycle 3 [ERROR] class file for org.mortbay.component.AbstractLifeCycle not found
Patch :https://issues.apache.org/jira/browse/HADOOP-10110
ok,现在可以进行编译了，
mvn package -Pdist,native -DskipTests -Dtar
现在可以拿出你的手机，玩会游戏了，慢慢等吧！
直到看到上面的内容那就说明编译完成了。
编译后的路径在:hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0
[root@localhost bin]# ./hadoop version Hadoop 2.2.0 Subversion Unknown -r Unknown Compiled by root on 2013-11-22T08:47Z Compiled with protoc 2.5.0 From source with checksum 79e53ce7994d1628b240f09af91e1af4 This command was run using /data/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
可以看出hadoop的版本：
[root@localhost hadoop-2.2.0]# file lib//native/* lib//native/libhadoop.a: current ar archive lib//native/libhadooppipes.a: current ar archive lib//native/libhadoop.so: symbolic link to `libhadoop.so.1.0.0' lib//native/libhadoop.so.1.0.0:ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped lib//native/libhadooputils.a: current ar archive lib//native/libhdfs.a: current ar archive lib//native/libhdfs.so: symbolic link to `libhdfs.so.0.0.0' lib//native/libhdfs.so.0.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped
hadoop编译成功，下面可以来部署集群。
4、部署集群准备
两台以上机器，修改hostname, ssh免登陆，关闭防火墙等
4.1、创建新用户和组
useradd hadoop 添加用户 groupadd hadoop 添加组 usermod hadoop(组) hadoop(用户) 将用户添加到组
注意以下操作有些需要root权限
4.2、修改主机名
注销一下系统logout,登录进去
[root@master ~]#
变成master了,修改生效
4.3、修改hosts
vim /etc/hosts 新增你的主机IP和HOSTNAME 192.168.0.14 master 192.168.0.21 slave1 192.168.0.24 slave2
4.4、ssh免登陆
查看ssh
[root@localhost data]# rpm -qa|grep ssh libssh2-1.4.2-1.el6.x86_64 openssh-5.3p1-84.1.el6.x86_64 openssh-server-5.3p1-84.1.el6.x86_64
缺少openssh-clients,
yum install openssh-clients
修改/etc/ssh/sshd_config
RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys
把这三行注释去掉并保存
然后service sshd restart
现在开始配置无密登录
一路回车
[hadoop@master ~]$ cd .ssh/ [hadoop@master .ssh]$ cp id_rsa.pub authorized_keys [hadoop@master .ssh]$ chmod 600 authorized_keys
把authorized_keys复制到其他要无密的机器上
一般情况到这里就可以无密登录了，可是我怎么还是需要密码，经过一翻搜寻才知道这是centos6.4版本的问题，《关于centos ssh无密登录失败的记录》
[hadoop@master .ssh]$ ssh slave1 Last login: Mon Nov 25 14:49:25 2013 from master [hadoop@slave1 ~]$
看到已经变成slave1了，说明成功鸟
5、开始集群配置工作
配置之前在要目录下创建三个目录，用来放hadooop文件和日志数据
[hadoop@master ~]$mkdir -p dfs/name [hadoop@master ~]$mkdir -p dfs/data [hadoop@master ~]$mkdir -p tmp
把之前编译成功的版本移到hadoop目录下，注意目录权限问题
下面就开始配置文件
5.1 hadoop-env.sh
找到JAVA_HOME，把路径改为实际地址
5.2 yarn-env.sh 同5.1
5.3 slave 配置所有slave节点
5.4 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value> //系统分布式URL
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/hadoop/temp</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>
注意fs.defaultFS为2.2.0新的变量，代替旧的：fs.default.name
5.5、hdfs-site.xml 配置namenode、datanode的本地目录信息
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value></property>
<property>
<name>dfs.replication</name>
<value>2</value> 集群节点与这个数字要相符
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
新的：dfs.namenode.name.dir，旧：dfs.name.dir，新：dfs.datanode.name.dir，旧：dfs.data.dir
5.6、mapred-site.xml 配置其使用 Yarn 框架执行 map-reduce 处理程序这个地方需要把mapred-site.xml.template复制重新命名为mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
新的计算框架取消了实体上的jobtracker, 故不需要再指定mapreduce.jobtracker.addres，而是要指定一种框架，这里选择yarn. 备注2：hadoop2.2.还支持第三方的计算框架，但没怎么关注过。
配置好以后将$HADOOP_HOME下的所有文件，包括hadoop目录分别copy到其它2个节点上。（以上操作都是在主节点上进行的操作）
5.7、yarn-site.xml 配置ResourceManager,NodeManager的通信端口，WEB监控端口等
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name> //配置内存
<value>15360</value>
</property>
6、启动hadoop 这里你可以进行环境变量设置，不举例了
6.1、格式化namenode
[hadoop@master bin]$ ./hdfs namenode -format
6.2、启动hdfs
start-dfs.sh && start-yarn.sh
这时候在master中输入jps应该看到namenode和secondarynamenode、ResourceManager服务启动，slave中看到datanode、nodemanager服务启动
查看集群状态：./bin/hdfs dfsadmin –report
查看文件块组成： ./bin/hdfsfsck / -files -blocks
查看各节点状态: http://192.168.0.14(或设置的主机名master):50070
查看resourcemanager上cluster运行状态:http://192.168.0.14(或设置的主机名master):8088
启动一切正常就说明hadoop 配置安装成功,可以进行例子测试(例子测试在另外一篇文章)