hadoop集群安装故障解决

nodemanager进程解决：http://blog.csdn.net/baiyangfu_love/article/details/13504849

编译安装：http://blog.csdn.net/ilovemilk/article/details/44465487

hadoop默认不提供64位的版本,需要自己编译安装

故障：http://blog.csdn.net/u014595668/article/details/52040810

hadoop2.6.2 native架包：http://download.csdn.net/download/kuangkunkui/9298421

hadoop例子：http://www.java2s.com/Code/Jar/h/Downloadhadoopexamples111jar.htm

故障解决：http://wenku.baidu.com/link?url=FeTHNO9ZnIJulDHbJMz7WyoI4RV4Amw6Lfy21xMWtLhlB-21WDolwKlAp2IMDmiJQEwqz4ji2Y8ScKx9sdWbLhInkcfXDGwuWMCi0bxC97C

命令： bin/hadoop jar hadoop-examples-*.jar wordcount /yangqing hdfsOutput

接触警告：

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

如何让你的作业在Hadoop集群中真正实现分布式运行

http://www.cnblogs.com/beanmoon/archive/2013/05/09/3068729.html

启动报错解决：

http://shisiyou.blog.51cto.com/9864147/1608060

启动报错解决：

http://www.chinahadoop.cn/classroom/5/thread/43

warning解决产生这个warning的原因是apache hadoop2.7需要使用2.1.4的glibc而我们云主机操作系统的lib是2.1.2：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

1.

# ll /lib64/libc.so.6    //查看当前系统glibc版本

$ export HADOOP_ROOT_LOGGER=DEBUG,console

hadoop fs -ls /

此事会输出debug信息，看到warning找出hadoop需要的glibc版本

2.下载对应版本的glibc安装

下载地址，找到对应版本的glibc

http://ftp.gnu.org/gnu/glibc/

[root@node1 ~]# export CFLAGS="-g -O2"

[root@node1 ~]# ./glibc-2.14.1/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

[root@node1 ~]# make

[root@node1 ~]# make install

此事再尝试hadoop命令，一句没有报错了

[hadoop@node1 hadoop-2.7.0]$ bin/hadoop fs -ls /

Found 1 items

drwxr-xr-x   - hadoop supergroup          0 2015-05-21 09:12 /home 

直接说步骤和流程：

 

1、到http://www.gnu.org/software/libc/下载最新版本，我这里下载了glibc-2.14.tar.gz 这个版本，解压到任意目录准备编译（/usr/local）

2、>:cd /usr/local 解压 >:tar -xzvf glibc-2.14.tar.gz

3、需要安装编译工具 gcc >:yum install gcc

4、到解压目录 >:cd /usr/local/glibc-2.14

5、按顺序执行下面的命令

>:mkdir build

>:cd build

>:../configure --prefix=/opt/glibc-2.14

>:make -j4

>:sudo make install

 

5、安装完了，还是不行。别急，还需要下面两个命令：

>:cp -r /etc/ld.so.c* /opt/glibc-2.14/etc/
>:ln -sf /opt/glibc-2.14/lib/libc-2.14.so /lib64/libc.so.6

 

这样就算完了。参考链接：

http://www.cnblogs.com/gw811/p/3676856.html

http://bbs.csdn.net/topics/340033648

http://ask.csdn.net/questions/185515

http://blog.chinaunix.net/uid-1840233-id-3147304.html

 

附：由于spserver 还无法install(install后有其他路径依赖问题)，只能用spserver &来启动。但是，在xshell启动后，关闭xshell它会自动关闭，

找到的解决方案是使用nohup执行程序：

>:nohup /root/start.sh &

但是有时候在这一步会有问题，当把终端关闭后，进程会自动被关闭，察看nohup.out可以看到在关闭终端瞬间服务自动关闭。
有个操作终端时的细节：当shell中提示了nohup成功后还需要按终端上键盘任意键退回到shell输入命令窗口，然后通过在shell中输入exit来退出终端
 

 nohup-真正的Shell后台运行