• Hadoop基础 — Hadoop Shell


    [xfvm@xfvm01 ~]$ hdfs dfs -help

    Usage: hadoop fs [generic options]
    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-find <path> ... <expression> ...]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-truncate [-w] <length> <path> ...]
    [-usage [cmd ...]]

    -appendToFile <localsrc> ... <dst> :
    将所有给定本地文件的内容追加到给定的目标文件中。如果目标文件不存在,将创建目标文件。如果< localsrc >是-,则从标准读取输入。.

    -cat [-ignoreCrc] <src> ... :
    获取与文件模式< src>匹配的所有文件,并在标准输出中显示其内容。
    -checksum <src> ... :
    校验文件信息

    -chgrp [-R] GROUP PATH... :
    类似于shell中的修改文件属组命令

    -chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH... :
    类似于shell的修改文件权限命令
    -R 递归修改文件

    -chown [-R] [OWNER][:[GROUP]] PATH... :
    类似于shell中的修改文件属主命令
    -R 递归修改文件

    -copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst> :
    与-put命令相同

    -copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst> :
    与-get命令相同

    -count [-q] [-h] <path> ... :
    计算某个路径下与指定文件模式匹配的目录、文件和字节数的数量

    -cp [-f] [-p | -p[topax]] <src> ... <dst> :
    拷贝文件,[-f]云端已有文件时,强制覆盖

    -createSnapshot <snapshotDir> [<snapshotName>] :
    在目录上创建快照

    -deleteSnapshot <snapshotDir> <snapshotName> :
    从目录中删除快照
    -df [-h] [<path> ...] :
    显示文件系统的容量、可用空间和已用空间。如果文件系统具有多个分区,并且未指定到特定分区的路径,则将显示根分区的状态。

    -h 以人为可读的方式格式化文件的大小,而不是字节数。

    -du [-s] [-h] <path> ... :
    显示与指定文件模式匹配的文件使用的空间量(以字节为单位)。以下标记是可选的:

    -s 不是显示与模式匹配的每个单个文件的大小,显示总(摘要)大小
    -h 以人为可读的方式格式化文件的大小,而不是字节数

    -expunge :
    从早于保留阈值的垃圾桶中删除文件

    -find <path> ... <expression> ... :
    查找与指定表达式匹配的所有文件,并对它们应用选定的操作。如果未指定<路径>,则认为当前工作目录。如果未指定表达式,则默认为-print

    -get [-p] [-ignoreCrc] [-crc] <src> ... <localdst> :
    将与< src>匹配的文件复制到本地。复制多个文件时,目标必须是目录
    -p保留访问和修改时间、所有权和模式

    -getfacl [-R] <path> :
    显示文件和目录的访问控制列表( ACL)。如果目录具有默认ACL,则getfacl还会显示默认ACL
    -R 递归列出所有文件和目录的ACL.

    -getfattr [-R] {-n name | -d} [-e en] <path> :
    显示文件或目录的扩展属性名称和值(如果有)。
    -R 归列出所有文件和目录的属性。
    -n name 转储命名的扩展属性值。
    -d 转储与路径名关联的所有扩展属性值。

    -getmerge [-nl] <src> <localdst> :
    获取与源文件模式匹配的目录中的所有文件,并将它们合并到本地文件系统上的只有一个文件。< src>保存。
    -nl 在每个文件末尾添加换行符。

    -help [cmd ...] :
    如果指定命令或所有命令,则显示帮助。

    -ls [-d] [-h] [-R] [<path> ...] :
    列出与指定文件模式匹配的内容。如果未指定路径,将列出当前用户的内容 Directory

    -d 目录列为纯文件
    -h 以人可读的方式格式化文件的大小,而不是字节数。。
    -R 递归列出目录的内容

    -mkdir [-p] <path> ... :
    在指定位置创建一个目录
    -p 如果目录已经存在,请不要失败,继续创建目录

    -moveFromLocal <localsrc> ... <dst> :
    与-put相同,只是在拷贝后删除源

    -moveToLocal <src> <localdst> :
    尚未开始启用

    -mv <src> ... <dst> :
    将与指定文件模式< src >匹配的文件移动到目标< dst>。移动多个文件时,目标必须是目录

    -put [-f] [-p] [-l] <localsrc> ... <dst> :
    将文件从本地文件系统复制到fs。如果文件已经存在,则复制失败,除非给定-f标志
    -p 保留访问和修改时间、所有权和模式。
    -f 如果目标已经存在,则覆盖目标
    -l 允许datanode延迟将文件保存到磁盘。强制将副本数置为1,此参数将导致数据耐久性降低,小心使用

    -renameSnapshot <snapshotDir> <oldName> <newName> :
    将快照从oldname重命名为newname

    -rm [-f] [-r|-R] [-skipTrash] <src> ... :
    删除与指定文件模式匹配的所有文件
    -skipTrash 绕过垃圾桶,如果启用,并立即删除< src >
    -f 如果文件不存在,不显示诊断消息或修改退出状态以反映错误
    -[rR] 递归删除目录

    -rmdir [--ignore-fail-on-non-empty] <dir> ... :
    删除每个目录参数指定的目录条目,只要它为空

    -setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>] :
    设置文件和目录的访问控制列表( ACL)
    -b 删除除基本ACL之外的所有条目。
    -k 删除默认的ACL
    -R 递归对所有文件和目录应用操作。
    -m 修改ACL。新条目添加到ACL,并保留现有条目。
    -x 删除指定的ACL条目。保留其他ACL条目
    --set 完全替换ACL,丢弃所有现有条目。必须包括用户、组和其他用户与权限位的兼容性条目

    <acl_spec> ACL条目的逗号分隔列表。

    -setfattr {-n name [-v value] | -x name} <path> :
    为文件或目录设置扩展属性名称和值。

    -n name 扩展属性名称
    -v value 扩展属性值
    -x name 删除扩展属性

    -setrep [-R] [-w] <rep> <path> ... :
    设置文件的复制级别
    -w 它请求命令等待复制完成。这可能需要很长时间。
    -R 它被接受为向后兼容性。它没有影响

    -stat [format] <path> ... :
    以指定格式在<路径>处的文件/目录的打印统计信息

    -tail [-f] <file> :
    显示文件最后1KB部分
    -f 显示随文件增长而添加的数据

    -test -[defsz] <path> :
    回答有关<路径>的各种问题,通过状态码告知结果
    -d 如果<path>是目录,返回0
    -e 如果<path>存在,返回0
    -f 如果<path>是文件,返回0
    -s 如果<path>大于0字节,返回0
    -z 如果文件<路径>为0个字节,则返回0,否则返回1。

    -text [-ignoreCrc] <src> ... :
    获取源文件并以文本格式输出文件

    -touchz <path> ... :
    在<路径>中创建空文件,以当前时间作为该<路径>的时间戳。如果文件存在非零长度,则返回错误。

    -truncate [-w] <length> <path> ... :
    删除所有被匹配到的文件
    -w 请求命令等待数据块恢复完成(如有必要)

    -usage [cmd ...] :
    显示给定命令的用法,如果未指定则显示所有任何命令的用法
    支持的通用选项:
    -conf <configuration file> 指定一个应用的配置文件
    -D <property=value> 给定属性的使用值
    -fs <local|namenode:port> 指定一个namenode
    -jt <local|resourcemanager:port> 指定一个ResourceManager
    -files <comma separated list of files> 指定使用逗号分隔被拷贝进map reduce集群的文件
    -libjars <comma separated list of jars> 指定要包含在classpath中的逗号分隔的jar文件
    -archives <comma separated list of archives> 指定要在计算机上的逗号分隔的存档文件

  • 相关阅读:
    parseInt()的用法
    报文
    express的中间件与next()
    前后端分离与前后端不分离
    jQuery中四个绑定事件的区别 on,bind,live,delegate
    TCP传输的三次握手四次挥手策略
    报文
    HTTP和HTTPS以及两者的区别
    前后端不分离与分离
    express中间件的next()方法
  • 原文地址:https://www.cnblogs.com/MrFee/p/hadoop_shell20170613.html
Copyright © 2020-2023  润新知