• Hadoop技巧(01):插件,终端权限


    阅读目录

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

    文章是哥(mephisto)写的,SourceLink

         在hadoop开发或者使用中,可能会使用到一些插件或3方软件,比如:Eclipse的Hadoop插件,ETL的Kettle。那么就存在一个hdfs目录权限的问题。

         下面就这个权限问题进行阐述。

    HDFS权限

    一:目录结构

      Hadoop文件系统HDFS的用户为hdfs,默认密码为空。HDFS根目录下还有一个tmp目录,这个目录是可以任何用户进行操作的,包括新建、删除目录和文件(tmp下原有的其他用户创建的文件及文件夹则不能访问)。

    二:默认权限

         我们在这个权限下只能操作tmp目录,如下,其他的目录不能操作。

      右键tmp,新建目录test-1,刷新。

      结果如下

      右键test-1,上传文件test.txt到DFS

      其他现有目录就没法向上面那样操作成功了

    三:增加环境变量

      在环境变量用增加两个环境变量:

      HADOOP_HOME

        D:2.Codehadoop-2.7.1

      HADOOP_USER_NAME

        hdfs

    四:Eclipse插件

      重启Eclipse,然后我们可以对tmp外其他目录进行操作,我们也可以在根目录下新建新的目录。

    点击根目录,新建test-1,刷新

      结果。

    五:Kettle

       新建一个转换,在Hadoop clusters中新建一个集群h188

      点击测试,我们可以看到User Home Directory Access是红叉

      说明是不能访问的。

      

      我们设置了环境变量后。

      再点测试,发现可以访问了。

    --------------------------------------------------------------------

      到此,本章节的内容讲述完毕。

    系列索引

      Hadoop技巧系列索引

     

    本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作。

    文章是哥(mephisto)写的,SourceLink

  • 相关阅读:
    JS闭包应用-私有变量、柯里化、偏函数
    JS限流与防抖
    JS自定义事件与事件代理
    CSS 去除图片和父元素底部间隙
    logstash使用http收集日志送Kafka
    shell中if条件语句结尾fi前面如果有&可以没有;
    filebeat 采集日志送Kafka
    JavaScript通过reduce+递归实现树的深度遍历
    WebStorm配置vueCli+eslint+prettier保存自动格式化
    ECMAScript 6 promise
  • 原文地址:https://www.cnblogs.com/mephisto/p/5219535.html
Copyright © 2020-2023  润新知