• hadoop tdh


    =================TDH==================
    1,启动namenode服务的用户就是超级用户, 该用户的组是supergroup
    2,文件或者目录被创建之时,服从BSD规则,owner是客户端进程的用户,group是父目录的group
    3,创建/input目录,用于接收外部写入的数据
    input目录的group也是input,owner是lisa(超级用户),
    创建/input/dean目录,用于接收dean用户写入的数据, owner是dean用户,group用户允许写入数据
    $ hdfs dfs -mkdir -p /input/dean
    $ hdfs dfs -ls /
    drwxr-xr-x - lisa input 0 2020-11-08 17:26 /input
    drwxr-xr-x - lisa supergroup 0 2020-09-28 15:21 /test
    drwxr-xr-x - lisa supergroup 0 2020-11-08 17:09 /tmp
    $ hdfs dfs -ls /input
    修改 input目录的owner 为lisa,group从 supergroup 改为input
    $ hdfs dfs -chown lisa:input /input
    $ hdfs dfs -ls /
    修改/input/dean目录的ower和group都为dean
    $ hdfs dfs -ls /input
    Found 1 item
    drwxrwxr-x - dean dean 0 2020-11-21 16:24 /input/dean
    4,允许input group用户写入/input/qoros目录
    先要设置目录权限,让input组用户都能读,写,执行该目录
    $ hdfs dfs -chmod -R g+w /input/qoros
    5,取消其他用户的所有权限
    $ hdfs dfs -chmod -R o-r /input/dean
    $ hdfs dfs -ls /input
    drwxrwx--x - lisa supergroup 0 2020-11-08 17:26 /input/dean
    $ hdfs dfs -chmod -R o-x /input/dean
    $ hdfs dfs -ls /input
    drwxrwx--- - lisa supergroup 0 2020-11-08 17:26 /input/dean
    6,hdfs中创建web 和app组的目录
    切换到超级管理员账户
    hadoop fs -mkdir /Hweb
    hadoop fs -mkdir /Happ
    设置所属用户及用户组
    hadoop fs -chown web:Hweb /Hweb
    hadoop fs -chown app:Happ /Happ
    设置权限
    hadoop fs -chmod 775 /Hweb
    hadoop fs -chmod 775 /
    7,Hadoop 从 hdfs 中拷出文件权限不够
    $ hadoop fs -get /input/LICENSE.txt /home/daniel/tmp/
    # get: /home/daniel/tmp/LICENSE.txt._COPYING_ (权限不够)
    1 增加hdfs文件夹权限
    hadoop fs -chmod 777 /user/hadoop
    2 修改hdfs配置文件
    # 在 $HADOOP_HOME/etc/hadoop/目录中,找到hdfs-site.xml,添加或更改以下属性:
    <property>
    <name>dfs.permissions</name>
    <value>false</value>
    </property>
    # 将true该为false。
    3 增加linux文件夹权限
    sudo chmod 777 /home/daniel/tmp

    zhaisongfang
  • 相关阅读:
    centos7安装supervisor
    redis4.0 cluster搭建
    网易cetus数据库中间件安装-读写分离版本
    mongodb副本集基于centos7部署
    C# 单例模式实现
    HttpWebRequest的GET和POST方法
    C#中$的用法
    判断一个表是否存在
    C# 继承的一些解释
    C# 虚方法和抽象方法
  • 原文地址:https://www.cnblogs.com/zhaisongfang/p/14140629.html
Copyright © 2020-2023  润新知