Hadoop调试记录(1)

错误

     ERROR: Can't get master address from ZooKeeper; znode data == null

解决

     关闭hadoop，发现stop-all.sh后几个进程并没有关闭，提示no namenode to close。恍然觉得原来每次关hadoop都没有关成功，这进程该是很久以前的了。所以原因是hadoop节点的连接出现问题。

     有几点需要注意：

     (1) 用户权限。kevin用户需要被赋予权限（chmod或者chown，一个是赋予权限，一个是将文件的所有者给指定用户），以后要注意用kevin去操作，不要随便就切换到root。linux下的用户权限是一个大问题，要好好研究，很多出错都是权限上的问题导致permission denied或者path/file not found；

     (2) kill进程。以进程1128为例，如果#kill -pid 1128无效，可尝试kill 9 1128。另，进程分为系统进程和用户进程，有些进程需要启用其的用户或者root去kill。

     正常kill掉几个进程之后，重开hadoop，除了datanode其他的进程都开了。查看datanode的log发现以下问题：

错误

     ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-kevin/dfs/data: namenode namespaceID = 1234548942; datanode namespaceID = 1169818695

解决

     将datanode的namespaceID修改为namenode的namespaceID。命令hadoop namenode -format不能经常使用，清空次数多了namenode的namespaceID就会修改了，造成其与datanode的namespaceID不匹配。

错误

　　java.io.IOException: Cannot create directory 导致namenode启动失败

解决

     无法创建目录的原因，一是目录错了，二是目录对了但没有权限。

     检查目录是否出错，若没有则是权限问题。

     首先，在hadoop目录下新建几个文件夹

~/hadoop$ mkdir tmp //存放临时文件
~/hadoop$ mkdir hdfs //hdfs的主目录
~/hadoop$ mkdir hdfs/name 
~/hadoop$ mkdir hdfs/data

     接下来对以上每个文件夹都做chown命令，最好再做一次chmod命令，如下（暂时不熟悉这两个命令的用法，所以都做一次比较保险）。原因：即便之前当前用户（如kevin）对hadoop文件夹及其子文件夹是有“写”权限的，但其子文件夹并不包括后来新建的文件夹，所以kevin是对新建的文件夹没有写权限，导致以上错误。

1 # 将该目录及其子目录的所有者赋给kevin
2 chown -R kevin:kevin ~/usr/hadoop/hadoop/tmp
3 # 赋给当前用户写的权限（这里是的路径是整个hadoop目录）
4 sudo chmod -R a+w ~/usr/hadoop/hadoop

　　接下来对hadoop/conf下三个配置文件重新做基本配置：
　　core-site.xml: Core配置项
　　hdfs-site.xml: HDFS配置项
　　mapred-site.xml：MapReduce配置项，包括jobtracker和tasktracker

　　core-site.xml:

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>~/usr/hadoop/hadoop/tmp</value>
    </property>
</configuration>        

　　hdfs-site.xml:

<configuration>
　　<property>
　　　　<name>dfs.replication</name>
　　　　<value>1</value>
　　</property>
　　<property>
　　　　<name>dfs.name.dir</name>
　　　　<value>~/usr/hadoop/hadoop/hdfs/name</value>
　　</property>
　　<property>
　　　　<name>dfs.data.dir</name>
　　　　<value>~/usr/hadoop/hadoop/hdfs/data</value>
　　</property>
</configuration>

　　mapred-site.xml:

<configuration>
　　<property>
　　　　<name>mapred.job.tracker</name>
　　　　<value>localhost:9001</value>
　　</property>
</configuration>

错误

　　HMaster进程无法启动/秒退/消失

　　FATAL [ubuntu:16020.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.java.io.IOException: Failed on local exception: java.io.IOException: Broken pipe; Host Details : local host is: "ubuntu/127.0.1.1"; destination host is: "localhost":9000;

　　master无法构建，原因是在dfs中没有implementation

　　localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol     　　org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)

解决

　　版本问题。此处hadoop版本是1.2.1，hbase的版本是1.0.0。以下为版本匹配表：

从上图可知，hbase-1.0.X可以确定支持的只有hadoop-2.X.X系列。所谓支持即互相间协议、方法是匹配的，不会出现“我调用你的方法，而你没有这个方法的问题”。删了之前的hbase，装了0.98的hbase（这张图中是不含有hadoop-1.2.1这个版本的，网上有人测试过0.98与1.2.1兼容很好）。重新配置了hbase-site.xml

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://localhost:9000/hbase</value>  
    </property>
    <property>
            <name>hbase.cluster.distributed</name>
           <value>true</value>
    </property>
</configuration>

启动hbase，进程全部启动且非常稳定。打开shell，输入list，成功运行。至此完成了对hbase启动问题的全部调试。

总结：要勤于思考，遇到问题最权威的方法是自己动手查看Log，自己分析。网上的意见有可取的成分，也会有大量片面的、甚至错误的言论，要理智辨别。

最重要的一点，不要放弃。遇到太困难的问题解决不了，不妨搁置一下，几天之后头脑清晰了重新来看，会有奇效。