• Hadoop(6)-HDFS的shell操作


    1.基本语法

    使用 hadoop fs 具体命令   或者   hdfs dfs 具体命令

    hadoop命令的shell源码

    hdfs命令的shell源码

    由此可见,这两个命令最后都是执行的一个java类的,而下面两张图是分别是fs和dfs的执行java类,是同一个类

     

     所以,这两个方法是没有任何区别的,使用哪一个都可以

     2. 命令大全

     3.命令实操

    启动Hadoop集群

    #启动NameNode 和 DataNode
    start-dfs.sh
    #启动ResourceManager 和 NodeManager
    start-yarn.sh

    显示目录信息

    hadoop fs -ls 路径

    再HDFS上创建目录

    hadoop fs -mkdir -p 路径

    从本地剪切到HDFS上

    hadoop fs  -moveFromLocal  源文件路径  目标路径

    追加一个文件到已存在文件的末尾

    hadoop fs -appendToFile 源文件路径 要追加到的文件路径

    显示文件内容

    hadoop fs -cat 文件路径

    -chgrp 、-chmod、-chown:Linux文件系统中的用法一样,修改文件所属权限

    #修改文件权限
    hadoop fs  -chmod  777  文件路径
    #修改文件所属
    hadoop fs  -chown  nty:nty   文件路径

    从本地文件系统中拷贝文件到HDFS上

    hadoop fs -put 本地文件路径 HDFS目标路径

    也可以使用 -copyFromLocal命令,查看help可见,与put方法一样~

    从HDFS的一个路径拷贝到HDFS的另一个路径

    hadoop fs -cp 源文件路径 目标路径

    再HDFS目录中移动文件

    hadoop fs -mv 要移动的文件路径  目标路径

    从HDFS上下载文件到本地

    hadoop fs -get HDFS上的文件路径 本地目标路径

    也可以使用-copyToLocal命令代替

    合并下载多个文件

    #可以使用通配符*
    hadoop fs -getmerge HDFS文件路径/*  本地文件路径

    删除文件夹或文件

    hadoop fs -rm 要删除的文件路径

    统计文件夹大小信息

    hadoop fs -du -s -h 要统计的文件路径

    以上命令的具体参数,请自行查阅help指令 -_-!

  • 相关阅读:
    HashSet集合保证元素唯一性的原理 底层代码 ---有用
    集合(下) ---有用
    集合(上) Colection方法 并发修改异常
    Hive -- Hive面试题及答案sql语句 ---阿善有时间看
    hive面试题总结(2020最新版) hive优化方面 ---阿善重要
    hive面试题总结(2020最新版)
    Hive常见面试题1.0
    Hive面试题收集 ---阿善重要
    promise的三个缺点
    js中常见的高阶函数
  • 原文地址:https://www.cnblogs.com/duoduotouhenying/p/10084569.html
Copyright © 2020-2023  润新知