版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处：http://www.cnblogs.com/sxt-zkys/
QQ技术交流群：299142667
Hadoop异常总结
hadoop启动不正常，hadoop datanode节点超时时间设置，HDFS冗余数据块的自动删除，namenode安全模式问题，ntp时间服务同步等问题。
hadoop的日志目录（/opt/sxt/hadoop-2.6.5/logs）
hadoop启动不正常
用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：
第一步：在服务器的终端命令行使用jps查看相关进程
（namenode1个节点 datanode3个节点 secondary namenode1个节点）
第二步：如果已经知道了启动失败的服务进程，进入到相关进程的日志目录下，查看日志，分析异常的原因
1） 配置文件出错，saxparser exception； ——找到错误提示中所指出的配置文件检查修改即可
2） unknown host——主机名不认识，配置/etc/hosts文件即可，或者是配置文件中所用主机名跟实际不一致
（注：在配置文件中，建议使用主机名，而不要用ip地址）
3）directory 访问异常—— 检查namenode的工作目录，看权限是否正常
start-dfs.sh启动后，发现有datanode启动不正常
第一步：查看datanode的日志，看是否有异常，如果没有异常，手动将datanode启动起来sbin/hadoop-daemon.sh start datanode
第二步：很有可能是slaves文件中就没有列出需要启动的datanode
第三步：排除上述两种情况后，基本上，能在日志中看到异常信息：
1、配置文件
2、ssh免密登陆没有配置好
3、datanode的身份标识跟namenode的集群身份标识不一致
（删掉datanode的工作目录）
hadoop datanode节点超时时间设置
datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。
而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。
需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒。
hdfs-site.xml中的参数设置格式：
HDFS冗余数据块的自动删除
在日常维护hadoop集群的过程中发现这样一种情况：
某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏，所以造成了HDFS上某些block的备份数超过了设定的备份数。通过观察发现，这些多余的数据块经过很长的一段时间才会被完全删除掉，那么这个时间取决于什么呢？
该时间的长短跟数据块报告的间隔时间有关。Datanode会定期将当前该结点上所有的BLOCK信息报告给Namenode，参数dfs.blockreport.intervalMsec就是控制这个报告间隔的参数。
hdfs-site.xml文件中有一个参数：
<property> <name>dfs.blockreport.intervalMsec</name> <value>3600000</value> <description>Determines block reporting interval in milliseconds.</description> </property>
其中3600000为默认设置，3600000毫秒，即1个小时，也就是说，块报告的时间间隔为1个小时，所以经过了很长时间这些多余的块才被删除掉。通过实际测试发现，当把该参数调整的稍小一点的时候（60秒），多余的数据块确实很快就被删除了。
namenode安全模式问题
当namenode发现集群中的block丢失数量达到一个阀值时，namenode就进入安全模式状态，不再接受客户端的数据更新请求
在正常情况下，namenode也有可能进入安全模式：
集群启动时（namenode启动时）必定会进入安全模式，然后过一段时间会自动退出安全模式（原因是datanode汇报的过程有一段持续时间）
也确实有异常情况下导致的安全模式
原因：block确实有缺失
措施：可以手动让namenode退出安全模式，bin/hdfs dfsadmin -safemode leave
或者：调整safemode门限值： dfs.safemode.threshold.pct=0.999f
ntp时间服务同步问题
第一种方式：同步到网络时间服务器
# ntpdate time.windows.com
将硬件时间设置为当前系统时间。
#hwclock –w
加入crontab：
30 8 * * * root /usr/sbin/ntpdate 192.168.0.1; /sbin/hwclock -w 每天的8:30将进行一次时间同步。
重启crond服务：
service crond restart
第二种方式：同步到局域网内部的一台时间同步服务器
一、搭建时间同步服务器
1、编译安装ntp server
rpm -qa | grep ntp
若没有找到，则说明没有安装ntp包，从光盘上找到ntp包，使用
rpm -Uvh ntp***.rpm
进行安装
2、修改ntp.conf配置文件
vi /etc/ntp.conf
①、第一种配置：允许任何IP的客户机都可以进行时间同步
将“restrict default nomodify notrap noquery”这行修改成：
restrict default nomodify notrap
配置文件示例：/etc/ntp.conf
②、第二种配置：只允许192.168.23.***网段的客户机进行时间同步
在restrict default nomodify notrap noquery（表示默认拒绝所有IP的时间同步）之后增加一行：
restrict 192.168.23.0 mask 255.255.255.0 nomodify notrap
3、启动ntp服务
service ntpd start
开机启动服务
chkconfig ntpd on
4、ntpd启动后，客户机要等几分钟再与其进行时间同步，否则会提示“no server suitable for synchronization found”错误。
二、配置时间同步客户机
手工执行 ntpdate <ntp server> 来同步
或者利用crontab来执行
crontab -e
0 21 * * * ntpdate 192.168.23.22 >> /root/ntpdate.log 2>&1
每天晚上9点进行同步
版权声明：本文为yunshuxueyuan原创文章。
如需转载请标明出处：http://www.cnblogs.com/sxt-zkys/
QQ技术交流群：299142667