hadoop的安装

下载

先去官网下载压缩包wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

编译

因为官网上是在32位机器上编译的文件,所以在64位的linux机器上运行会报警告
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
需要自己在64位上重新编译源码,然后替换lib/native的文件,也可以直接使用编译的全部文件,详见

maven

进入hadoop-2.8.0-src目录
执行maven打包命令mvn package -Pdist,native -DskipTests -Dtar
编译完成后把hadoop-dist/target/hadoop-2.8.0/lib/native下的文件替换到安装的hadoop/lib/native下,再运行就不会报上面的警告了

编译hadoop会对环境有要求,需要一些其他工具,我编译成功前又安装了以下工具

protobuf

下载protobuf的安装包wget https://github.com/google/protobuf/archive/v2.5.0.tar.gz
从github的下载的代码要先执行 ./autogen.sh 生成configure文件

这里hadoop2.8必须要protobuf2.5才行,之前我下的3.1安装后才知道于hadoop不相配.但是2.5的autogen.sh已经比较老了,里面访问的google的代码已经迁移到github上了,所以根据3.1的autogen.sh来改写2.5的,让文件能正常下载解压

 ./configure
 make
 make check
 make install
protoc --version #验证安装成功

cmake

报错

 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "cmake" (in directory "/xxx/hadoop-tools/hadoop-pipes/target/native"): java.io.IOException: error=2, No such file or directory -> [Help 1]

下载wget --no-check-certificate http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz
解压
安装

./bootstrap
make
make install
cmake --version #检查是否安装成功

openssl-devel zlib-devel

报错

 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-common: An Ant BuildException has occured: exec returned: 1
 [ERROR] around Ant part ...<exec dir="/usr/local/hadoop/hadoop-2.4.0-src/hadoop-common-project/hadoop-common/target/native" executable="cmake" failonerror="true">... @ 4:138 in /usr/local/hadoop/hadoop-2.4.0-src/hadoop-common-project/hadoop-common/target/antrun/build-main.xml
    

安装openssl-devel zlib-devel
yum install openssl-devel zlib-devel
报错

Cannot find appropriate C++ compiler on this system

安装g++
yum install gcc-c++

三种模式

hadoop有三种模式 standalone(单机模式),pseudo-distributed(伪分布式),fully-distributed(完全分布式);
单机模式是用来运行非分布式模式,一个单独的java进程.经常用来调试.
伪分布式模式也运行在一个单节点上,每个hadoop守护线程运行在分开的java的进程.参考
完全分布式.参考.

设置hadoop多节点集群

参考

配置hosts

vi /etc/hosts

这样就可以使用域名访问其他节点

配置ssh

配置ssh密钥访问,让集群节点之间能互相访问,配置好后

ssh <remote_host>  #就能登录到另一个节点

配置hadoop

hadoop-env.sh

vim <hadoop_dir>/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/java

确认hadoop已经安装了

<dir>/bin/hadoop hadoop version
如果安装完成就会显示hadoop版本