• Hadoop 管理工具HUE配置-filebrowser配置


      Hue提供了图形化截面管理HDFS数据,可谓之非常方便,但是在配置上,还是有点麻烦的。

    1 /home/hadoop/software/cloud/hue/desktop/conf/pseudo-distributed.ini配置

    Hue可以通过两种方式访问Hdfs中的数据

    WebHDFS:提供高速的数据传输,客户端直接和DataNode交互

    HttpFSB:一个代理服务,方便与集群外部的系统集成

    两者都支持Http REST API,但是HUe只能打开其中的一种方式,对于HDFS HA的部署方式,只能使用HttpFS。

    对于WebHDFS的配置这里就不做介绍,下面介绍HttpFS的配置方式,首先需要配置hadoop中几个配置文件

    1.1 core-site.xml配置

          <property>  
                  <name>hadoop.proxyuser.hadoop.hosts</name>  
                  <value>*</value>  
                  <description>第二个hadoop是启动httpfs的用户名</description>
          </property>  
          
          <property>  
                  <name>hadoop.proxyuser.hadoop.groups</name>  
                  <value>*</value>  
                  <description>第二个hadoop是启动httpfs的用户组名</description>
          </property>

    这里一个需要注意的地方,hadoop.proxyuser.{hadoop}.hosts括号里面的是启动httpfs的用户名

    1.2 httpfs-site.xml 配置

        <!-- Hue HttpFS proxy user setting -->
        <property>
            <name>httpfs.proxyuser.hue.hosts</name>
            <value>*</value>
            <description>这里的hue是需要代理hadoop superuser的用户名</description>
        </property>
        <property>
            <name>httpfs.proxyuser.hue.groups</name>
            <value>*</value>
            <description>这里的hue是需要代理hadoop superuser的用户组名</description>
        </property>

    这里一个需要注意的地方,httpfs.proxyuser.{hue}.hosts括号中的hue是HUE系统代理的用户,如果1.2 和 1.3配置不正确,那么在hue中是不能正确访问到数据的,因为HUE的用户和hadoop的用户不是一个概念,当时在这里卡了好久。

    1.3 需改pseudo-distributed.ini 其中的hdfs配置

    # Use WebHdfs/HttpFs as the communication mechanism.
          # Domain should be the NameNode or HttpFs host.
          # Default port is 14000 for HttpFs.
          ##--Customer Configuration --##
          webhdfs_url=http://1421-0002:14000/webhdfs/v1

    这里的webhdfs_url配置启动httpfs的主机端口。如何启动httpfs在http://www.cnblogs.com/liuchangchun/p/4658750.html  可以看到

    果配置成功之后,便在HUE中能看见hdfs上的所有数据,至于操作还需要权限。

  • 相关阅读:
    开发一款即时通讯App,从这几步开始
    即时通讯App怎样才能火?背后的技术原理,可以从这5个角度切入
    快速搭建一个“微视”类短视频 App
    iOS Push详述,了解一下?
    怒刷3000条短视频后,我终于发现网红300万点赞的套路
    如何精准实现OCR文字识别?
    30分钟彻底弄懂flex布局
    渲染管道
    游戏引擎架构Note2
    浮点数的内存表示方法
  • 原文地址:https://www.cnblogs.com/liuchangchun/p/4658796.html
Copyright © 2020-2023  润新知