• Hadoop初体验——问题总结


    第一次使用Hadoop,整个过程真是让我折腾。

    先是在cygwin下,出现如下问题:

    cygwin    :1.7.5-1
    openssh :5.5p1-2
    openssl  :0.9.8o-2

    ssh已经配置,且在cygwin下输入:
    net start sshd
    显示成功启动

    然后输入,
    ssh localhost
    此时,没有任何输出,一直挂着。

    事件查看器输出如下错误
    sshd: PID 632: error: setsockopt IPV6_V6ONLY: Protocol not available.
    似乎是sshd内部调用setsockopt设置IPV6_V6ONLY出错。


    搞了很久,也没搞好。只好做罢,在vmware中又遇到各种问题:

    1、safemode

    bin/hadoop fs -put ./input input
    put
    : org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode.

    解决方法:

    NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。

    dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

    下面这行摘录自NameNode启动时的日志(block上报比例1达到了阀值0.9990)

    The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.
    hadoop dfsadmin -safemode leave

    有两个方法离开这种安全模式
    (1)修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。
    (2)hadoop dfsadmin -safemode leave命令强制离开

    用户可以通过dfsadmin -safemode value  来操作安全模式,参数value的说明如下:

    enter - 进入安全模式
    leave - 强制NameNode离开安全模式
    get -  返回安全模式是否开启的信息
    wait - 等待,一直到安全模式结束。

    2、could only be replicated to 0 nodes, instead of 1

    #执行 fs -put时,出现如下问题
    hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop
    .ipc.RemoteException: java.io.IOException: ... could only be replicated to 0 nodes, instead of 1 ...

    解决方法:
    (1)防火墙原因
    (2)磁盘空间原因
    df –ah  #查看磁盘空间
    如果是磁盘空间不够,则调整磁盘空间(我就是该原因,折腾了很久),推荐一个强大的分区工具GParted

    3、DataNode error

    代码
    2010-06-25 11:40:12,473 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode:
    java
    .io.IOException: Incompatible namespaceIDs in /tmp/hadoop-root/dfs/data:
    namenode namespaceID 
    = 647870650; datanode namespaceID = 466015089

     解决方法:

    删除 /tmp/hadoop-root/dfs目录下的所有目录,
    执行hadoop namenode -format

    很久没有用过Java了,原以为以后不会再有机会使用。但是,有Hadoop这样优秀的开源项目,不得不又重新拾起Java。

  • 相关阅读:
    selectHelper
    Windows Server 2003 下实现网络负载均衡(2) (转)
    顺序栈
    线性表链式存储
    线性表顺序存储
    Swift
    组件化
    swift
    Swift
    Swift
  • 原文地址:https://www.cnblogs.com/hustcat/p/1768506.html
Copyright © 2020-2023  润新知