• Hadoop fs 命令详解


    参考文档:https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df

    1. 环境:hadoop-2.6.0

    2. 参数说明: hadoop fs
    [-appendToFile <localsrc> ... <dst>]
    [-cat [-ignoreCrc] <src> ...]
    [-checksum <src> ...]
    [-chgrp [-R] GROUP PATH...]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>]
    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-count [-q] [-h] <path> ...]
    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]
    [-createSnapshot <snapshotDir> [<snapshotName>]]
    [-deleteSnapshot <snapshotDir> <snapshotName>]
    [-df [-h] [<path> ...]]
    [-du [-s] [-h] <path> ...]
    [-expunge]
    [-find <path> ... <expression> ...]
    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    [-getfacl [-R] <path>]
    [-getfattr [-R] {-n name | -d} [-e en] <path>]
    [-getmerge [-nl] <src> <localdst>]
    [-help [cmd ...]]
    [-ls [-d] [-h] [-R] [<path> ...]]
    [-mkdir [-p] <path> ...]
    [-moveFromLocal <localsrc> ... <dst>]
    [-moveToLocal <src> <localdst>]
    [-mv <src> ... <dst>]
    [-put [-f] [-p] [-l] <localsrc> ... <dst>]
    [-renameSnapshot <snapshotDir> <oldName> <newName>]
    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]
    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
    [-setfattr {-n name [-v value] | -x name} <path>]
    [-setrep [-R] [-w] <rep> <path> ...]
    [-stat [format] <path> ...]
    [-tail [-f] <file>]
    [-test -[defsz] <path>]
    [-text [-ignoreCrc] <src> ...]
    [-touchz <path> ...]
    [-usage [cmd ...]]

    -ls 显示当前目录结构

    -ls -R 递归显示目录结构

    -du 统计目录下文件大小 ;  -du -s 汇总目录下文件大小,单位字节  ; -du -h ,显示目录下各个文件的大小。  -du -s -h  /user/hive/warehouse/table_test ,汇总该表所占据的存储空间,显示单位。

    -rm -f -r 递归删除目录文件

    -cp -f 复制文件 source destination

    -mv 移动文件或目录

    -mkdir 创建目录

    -get -f 下载文件

    -put -f 上传文件

    3. hadoop fs ,hadoop dfs ,hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广,可以操作所有的文件系统; hadoop dfs ,hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】

    4. 在hive 模式下,使用 dfs 命令进行相关操作,如删除文件:dfs -rm -r -f  /user/hive/warehouse/ods/t_column_to_row

    5. hadoop fs -du  /user/hive/warehouse/ods  |sort -r -n -k 1 |awk '{ print $1/(1024*1024*1024),$3}'  |head -20   -- 查询指定目录下存储量最大的top20

    ------------------------传送门------------------------

    -------> by kimbo_zhang
  • 相关阅读:
    数据分析也有发展趋势
    数据分析也有发展趋势
    大数据与人的主体性
    大数据与人的主体性
    数据分析告诉我们的四个经验教训
    数据分析告诉我们的四个经验教训
    大数据新闻传播是什么
    数据分析告诉你,转化才是王道
    数据分析告诉你,转化才是王道
    企业应如何培养数据驱动的分析文化?
  • 原文地址:https://www.cnblogs.com/kimbo/p/6212732.html
Copyright © 2020-2023  润新知