• hadoop web管理界面不能打开问题


    centos 7

    安装好hadoop的,hadoop和yarn都正常启动,但是yarn的web界面(8088),hdfs的web界面(50070)都不能打开,防火墙是处于关闭状态。

    修改默认启动级别,改为5,图形界面模式:

      systemctl set-default graphical.target

    如果要改为 3 :

      systemctl set-default multi-user.target

    重启系统。

    启动hadoop、yarn。

    打开界面,yarn的界面可以访问,hdfs的不行。

    执行命令: netstat -nltp

    [root@venn05 hadoop]# netstat -nltp
    Active Internet connections (only servers)
    Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name    
    tcp        0      0 0.0.0.0:35115           0.0.0.0:*               LISTEN      9344/java           
    tcp        0      0 0.0.0.0:9868            0.0.0.0:*               LISTEN      8816/java           
    tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      1/systemd           
    tcp        0      0 192.168.1.5:8020        0.0.0.0:*               LISTEN      8467/java           
    tcp        0      0 192.168.122.1:53        0.0.0.0:*               LISTEN      1203/dnsmasq                  
    tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      972/sshd            
    tcp        0      0 127.0.0.1:631           0.0.0.0:*               LISTEN      971/cupsd           
    tcp        0      0 127.0.0.1:8088        0.0.0.0:*               LISTEN      9048/java           
    tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1086/master         
    tcp        0      0 0.0.0.0:13562           0.0.0.0:*               LISTEN      9344/java           
    tcp        0      0 192.168.1.5:8030        0.0.0.0:*               LISTEN      9048/java           
    tcp        0      0 192.168.1.5:8031        0.0.0.0:*               LISTEN      9048/java           
    tcp        0      0 192.168.1.5:8032        0.0.0.0:*               LISTEN      9048/java           
    tcp        0      0 192.168.1.5:8033        0.0.0.0:*               LISTEN      9048/java           
    tcp        0      0 0.0.0.0:8040            0.0.0.0:*               LISTEN      9344/java           
    tcp        0      0 0.0.0.0:8042            0.0.0.0:*               LISTEN      9344/java           
    tcp6       0      0 :::111                  :::*                    LISTEN      1/systemd           
    tcp6       0      0 :::22                   :::*                    LISTEN      972/sshd            
    tcp6       0      0 ::1:631                 :::*                    LISTEN      9

    50070端口,没有程序使用,怀疑是程序没有正常运行。

    查看 hdfs-site.xml 文件,空的,没有配置。

    添加配置:  

    <property>
            <name>dfs.namenode.http-address</name>
            <value>venn05:50070</value>
    </property>

    配置hdfs的namenode的ip地址、端口

    重启hadoop、yarn。

    在虚拟机内,使用浏览器,yarn的web界面(8088),hdfs的web界面(50070)都可以打开。

    执行命令:

      netstat -nltp

    可以看到

      

    [root@venn05 hadoop]# netstat -nltp
    Active Internet connections (only servers)
    Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
    tcp 0 0 0.0.0.0:35115 0.0.0.0:* LISTEN 9344/java
    tcp 0 0 0.0.0.0:9868 0.0.0.0:* LISTEN 8816/java
    tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd
    tcp 0 0 127.0.0.1:8020 0.0.0.0:* LISTEN 8467/java
    tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 1203/dnsmasq
    tcp 0 0 127.0.0.1:50070 0.0.0.0:* LISTEN 8467/java
    tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 972/sshd
    tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 971/cupsd
    tcp 0 0 127.0.0.1:8088 0.0.0.0:* LISTEN 9048/java
    tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1086/master
    tcp 0 0 0.0.0.0:13562 0.0.0.0:* LISTEN 9344/java
    tcp 0 0 127.0.0.1:8030 0.0.0.0:* LISTEN 9048/java
    tcp 0 0 127.0.0.1:8031 0.0.0.0:* LISTEN 9048/java
    tcp 0 0 127.0.0.1:8032 0.0.0.0:* LISTEN 9048/java
    tcp 0 0 127.0.0.1:8033 0.0.0.0:* LISTEN 9048/java
    tcp 0 0 0.0.0.0:8040 0.0.0.0:* LISTEN 9344/java
    tcp 0 0 0.0.0.0:8042 0.0.0.0:* LISTEN 9344/java
    tcp6 0 0 :::111 :::* LISTEN 1/systemd
    tcp6 0 0 :::22 :::* LISTEN 972/sshd
    tcp6 0 0 ::1:631 :::* LISTEN 971/cupsd
    tcp6 0 0 ::1:25 :::* LISTEN 1086/master

    hadoop、yarn的程序,都起在 127.0.0.1 上,所以只有本机可以访问。

    打开/etc/hosts 文件:

      

    [root@venn05 hadoop]# more /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 venn05
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    

    发现,在127.0.0.1 后面配置了一个主机名,会导致在yarn-site.xml 中配置的resourcemanager 的hostname指向 127.0.0.1

    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>venn05</value>
    </property>

    修改hosts文件,去掉127.0.0.1 后面的主机名

    配置 ip 主机名

    [root@venn05 hadoop]# more /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.1.5 venn05
    192.168.1.6 venn06
    192.168.1.7 venn07

    重启hadoop、yarn服务,yarn、hdfs的web界面正常访问

      

  • 相关阅读:
    退役划水一
    Codeforces 1592F2 Alice and Recoloring 2
    AtCoder Regular Contest 108 选做
    AtCoder Regular Contest 107 选做
    AtCoder Regular Contest 106 选做
    AtCoder Regular Contest 105 选做
    2021 年铜陵市青少年编程大赛 部分题解
    Codeforces 1566G Four Vertices
    数据迁移的一般测试步骤
    mac常用命令
  • 原文地址:https://www.cnblogs.com/Springmoon-venn/p/8727275.html
Copyright © 2020-2023  润新知