症状：datanode进程还在，但是在web ui接口发现该节点已经被置为dead节点。监测datanode进程日志，开始时一直狂刷很忙，后来停止刷新日志。
分析datanode进程日志，发现如下一些错误：
datanode.DataNode: PacketResponder java.io.IOException: Connection reset by peer
DataXceiver error processing WRITE_BLOCK operation java.io.IOException: Interrupted receiveBlock
java.io.EOFException: Premature EOF: no length prefix available
permanently terminating periodic scanner java.lang.OutOfMemoryError: Java heap space
Action: datanode process now is Xmx2048m 给datanode进程大一些 4G ? px集群现在是 xms3072m xmx8192m
transfering block BP-1538154135-172.17.254.17-1382076983184:blk_7146956383243812346_445834476 to mirror 172.17.254.102:50010: java.net.ConnectException: Connection timed out
DataXceiver error processing WRITE_BLOCK operation java.net.ConnectException: Connection timed out
主要是网络相关，可以看到 读写block的时候超时之类的。有可能是网络带宽问题，之前听同事们反馈这批网卡带宽不行。
查看主配置文件hdfs-site.xml
<name>dfs.balance.bandwidthPerSec</name><value>104857600</value> 100M
dfs.socket.timeout --1800000 30min
dfs.namenode.handler.count --20
python -c 'import math ; print int(math.log(32) * 20)' 64
Action: 根据<hadoop operations>的计算公式，建议改为64 计算得出69.
可以减少datanode向namenode汇报心跳超时之类的问题
Action:
dfs.datanode.socket.write.timeout 480000 8m
建议增大时长至20分钟
Action:
dfs.datanode.max.xcievers 4096
建议修改为8192 可以打开的文件数量更多，减少读写块时出错的机率