• Ubuntu 14.10 下Hadoop HttpFS 配置


      因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据。

      HttpFs能干啥呢,它可以使你能在浏览器中管理HDFS上的文件,例如在HUE中;它还提供了一套REST风格的API用来管理HDFS

    1 集群环境

    Ubuntu-14.10

    openjdk-7

    hadoop-2.6.0 HA(双NN)

    hue-3.8.1(development)

    2 安装

    因为hadoop中自带了httpfs所以,这里不需要下载其他包,只需要进行一下配置

    2.1 core-site.xml,添加如下

          <property>  
                  <name>hadoop.proxyuser.hadoop.hosts</name>  
                  <value>*</value>  
                  <description>第二个hadoop是启动httpfs的用户名</description>
          </property>  
          
          <property>  
                  <name>hadoop.proxyuser.hadoop.groups</name>  
                  <value>*</value>  
                  <description>第二个hadoop是启动httpfs的用户组名</description>
          </property>


    注意:hadoop.proxyuser.{hadoop}.hosts第二个是启动httpfs的用户名

    如果是需要配置用户代理,需要在httpfs-site.xml中添加。

    到此配置完毕,启动httpfs,进入hadoop sbin下,运行

    httpfs.sh start
    

    启动成功后jps会多一个Bootstrap 进程。

    浏览器访问http://localhost:14000/ 
    页面显示:HttpFs service, service base URL at /webhdfs/v1. 根目录为:/webhdfs/v1

    参考:

    http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

    http://duguyiren3476.iteye.com/blog/2209388

    http://blog.cheyo.net/90.html

    http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html

    http://blog.csdn.net/ganglia/article/details/25902873

  • 相关阅读:
    蜘蛛禁止访问文件
    基于PhalApi的Smarty拓展 (视图层的应用)
    MySQL数据库存表情
    查看PHP版本等相关信息
    读取数据库表信息
    nginx简介
    Redis发布订阅
    Redis持久化
    Redis主从复制
    Redis的Java客户端Jedis
  • 原文地址:https://www.cnblogs.com/liuchangchun/p/4658750.html
Copyright © 2020-2023  润新知