• docker搭建hadoop HA出错问题总结记录。


    错误1:

    ssh连接云主机:

    ssh root@39.106.xx.xx

    报错:THE AUTHENTICITY OF HOST XX CAN’T BE ESTABLISHED

    解决办法:

    ssh -o StrictHostKeyChecking=no root@39.106.xx.xx

    输入密码,链接成功

    与ssh中Host key verification failed问题一样。

    网上很多的解决方案是:vi ~/.ssh/known_hosts 删除与想要连接的主机相关的行;或者直接删除known_hosts这个文件。 当然这个方案也是可行的,但并非解决问题的根本办法,因为继续使用,今后还会出现这样的情况,还得再删除。
    下面简单讲一下这个问题的原理和比较长久的解决方案。
    用OpenSSH的人都知ssh会把你每个你访问过计算机的公钥(public key)都记录在~/.ssh/known_hosts。当下次访问相同计算机时,OpenSSH会核对公钥。如果公钥不同,OpenSSH会发出警告,避免你受到DNS Hijack之类的攻击。
    SSH对主机的public_key的检查等级是根据StrictHostKeyChecking变量来配置的。默认情况下,StrictHostKeyChecking=ask。简单所下它的三种配置值:
    1.StrictHostKeyChecking=no
    #最不安全的级别,当然也没有那么多烦人的提示了,相对安全的内网测试时建议使用。如果连接server的key在本地不存在,那么就自动添加到文件中(默认是known_hosts),并且给出一个警告。
    2.StrictHostKeyChecking=ask #默认的级别,就是出现刚才的提示了。如果连接和key不匹配,给出提示,并拒绝登录。
    3.StrictHostKeyChecking=yes #最安全的级别,如果连接与key不匹配,就拒绝连接,不会提示详细信息。

    对于我来说,在内网的进行的一些测试,为了方便,选择最低的安全级别。在.ssh/config(或者/etc/ssh/ssh_config)中配置:

    StrictHostKeyChecking no
    UserKnownHostsFile /dev/null

    修改好配置后,重新启动sshd服务即可,命令为:/etc/init.d/sshd restart (或 service sshd restart


    错误2:
    nohup: failed to run command 'java': No such file or directory
    解决:

    在zkServer.sh文件开头添加如下内容:

    Bash代码  
    1. export JAVA_HOME=/usr/lib/jdk  
    2. export PATH=$JAVA_HOME/bin:$PATH  

    错误3:
    2018-10-16 08:56:19,814 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Authentication succeeded (publickey).
    2018-10-16 08:56:19,814 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Connected to master
    2018-10-16 08:56:19,814 INFO org.apache.hadoop.ha.SshFenceByTcpPort: Looking for process running on port 8020
    2018-10-16 08:56:19,824 WARN org.apache.hadoop.ha.SshFenceByTcpPort: PATH=$PATH:/sbin:/usr/sbin fuser -v -k -n tcp 8020 via ssh: bash: fuser: command not found
    2018-10-16 08:56:19,825 INFO org.apache.hadoop.ha.SshFenceByTcpPort: rc: 127
    2018-10-16 08:56:19,825 INFO org.apache.hadoop.ha.SshFenceByTcpPort.jsch: Disconnecting from master port 22
    2018-10-16 08:56:19,825 WARN org.apache.hadoop.ha.NodeFencer: Fencing method org.apache.hadoop.ha.SshFenceByTcpPort(null) was unsuccessful.
    2018-10-16 08:56:19,825 ERROR org.apache.hadoop.ha.NodeFencer: Unable to fence service by any configured method.
    2018-10-16 08:56:19,825 WARN org.apache.hadoop.ha.ActiveStandbyElector: Exception handling the winning of election
    java.lang.RuntimeException: Unable to fence NameNode at master/172.17.0.11:8020
    at org.apache.hadoop.ha.ZKFailoverController.doFence(ZKFailoverController.java:545)
    at org.apache.hadoop.ha.ZKFailoverController.fenceOldActive(ZKFailoverController.java:517)
    at org.apache.hadoop.ha.ZKFailoverController.access$1100(ZKFailoverController.java:61)
    at org.apache.hadoop.ha.ZKFailoverController$ElectorCallbacks.fenceOldActive(ZKFailoverController.java:903)
    at org.apache.hadoop.ha.ActiveStandbyElector.fenceOldActive(ActiveStandbyElector.java:991)
    at org.apache.hadoop.ha.ActiveStandbyElector.becomeActive(ActiveStandbyElector.java:888)
    at org.apache.hadoop.ha.ActiveStandbyElector.processResult(ActiveStandbyElector.java:473)
    at org.apache.zookeeper.ClientCnxn$EventThread.processEvent(ClientCnxn.java:599)
    at org.apache.zookeeper.ClientCnxn$EventThread.run(ClientCnxn.java:498)
    2018-10-16 08:56:19,825 INFO org.apache.hadoop.ha.ActiveStandbyElector: Trying to re-establish ZK session
    解决:
    提示未找到fuster程序,导致无法进行fence,所以可以通过如下命令来安装,Psmisc软件包中包含了fuster程序:

    sudo yum install psmisc

    记录学习和生活的酸甜苦辣.....哈哈哈
  • 相关阅读:
    SSLOJ 1298.网站计划
    SSLOJ 1297.GF打Dota
    SSLOJ 1296.猫咪的进化
    脚本1)启动jetty的脚本
    mysql的常用命令
    mysql异常com.mysql.jdbc.PacketTooBigException
    debian apt-get联网安装mysql服务
    mysql 解决Warning: World-writable config file ‘/etc/my.cnf’ is ignored
    ubuntu/debian/linux彻底卸载mysql
    Ubuntu12.04_X64 apt-get install 报错404
  • 原文地址:https://www.cnblogs.com/yjt1993/p/9802539.html
Copyright © 2020-2023  润新知