• Python+Spark2.0+hadoop学习笔记——Hadoop HDFS命令


    历经千辛万苦,终于把Ubuntu和Hadoop安装好了,过程很繁琐也很费时间,在这里就不展开讲述了。

    下面将开始介绍Hadoop HDFS命令。

    HDFS命令格式如下:

    hadoop fs -命令

    1)常用的HDFS命令:

    hadoop fs -mkdir 创建HDFS目录

    hadoop fs -ls 列出HDFS目录

    hadoop fs -copyFromLocal 使用-copyFromLocal复制本地(local)文件到HDFS

    hadoop fs -put 使用-put复制本地(local)文件到HDFS

    hadoop fs -cat 列出HDFS目录下的文件内容

    hadoop fs -copyToLocal 使用-copyToLocal将HDFS上的文件复制到本地(local)

    hadoop fs -get 使用-get将HDFS上的文件复制到本地(local)

    hadoop fs -cp 复制HDFS文件

    hadoop fs -rm 删除HDFS文件

    2)从本地到HDFS

    接下来我们启动Hadoop Multi-Node Cluster,包含虚拟服务器master、data1、data2、data3。

    在master服务器的终端输入:

    start-all.sh

    然后创建一个user目录

    hadoop fs -mkdir /user

    然后在user目录下创建子目录test

    hadoop fs -mkdir /user/test

    查看之前创建的HDFS目录

    hadoop fs -ls

    查看HDFS根目录

    hadoop fs -ls /

    查看HDFS的/user目录

    hadoop fs -ls /user

    一次查看所有子目录

    hadoop fs -ls -R /

    同理可以一次性创建所有子目录

    hadoop fs -mkdir -p /dir1/dir2/dir3

    从本地计算机复制文件到HDFS

    hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test

    复制本地文件到HDFS的目录的test1.txt

    hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test/test1.txt

    列出HDFS目录下的文件内容

    hadoop fs -cat /user/test/README.txt

    如果文件太大,可以加上“|more”,一页一页地显示

    hadoop fs -cat /user/test/README.txt |more

    如果现有文件存在的话则会显示已存在,但是可以使用-f来强制复制文件

    hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/test

    也可以同时复制多个文件

    hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /usr/local/hadoop/LICENSE.txt /user/test

    复制整个文件夹的指定目录

    hadoop fs -copyFromLocal /usr/local/hadoop/etc /user/test

    列出HDFS目录/user/test/etc下的所有文件

    hadoop fs -ls -R /user/test/etc

    使用put复制文件到HDFS目录,会直接覆盖文件

    hadoop fs -put /usr/local/hadoop/README.txt /user/test/test2.txt

    将原本显示在屏幕上的内容存储到HDFS文件

    echo abc | hadoop fs -put - /user/test/echoin.txt(“|”(pipe管道符号))

    显示在HDFS中echoin.txt文件的内容

    hadoop fs -cat /user/test/echoin.txt(结果显示为abc)

    将本地目录的列表存储到HDFS文件

    ls /usr/local/hadoop | hadoop fs -put - /user/test/hadooplist.txt

    3)从HDFS到本地

    在本地创建test测试目录

    mkdir test

    切换到test目录

    cd test 

    将HDFS的文件复制到本地计算机

    hadoop fs -copyToLocal /user/text/hadooplist.txt

    查看本地目录

    ll

    将整个HDFS上的目录复制到本地计算机

    hadoop fs -copyToLocal /user/test/etc

    将HDFS上的文件复制到本地计算机

    hadoop fs -get /user/test/README.txt localREADME.txt

    4)复制与删除HDFS文件

    复制HDFS文件到HDFS测试目录

    hadoop fs -cp /user/test/README.txt /user/test/temp

    删除HDFS文件

    hadoop fs -rm /user/test/test2.txt

    删除HDFS目录

    hadoop fs -rm -R /user/test/etc

    5)此外,还可以使用Hadoop HDFS Web用户界面来浏览HDFS,查看文件、查看完整信息、下载文件和打开文件等。

  • 相关阅读:
    COF框架集成mongodb驱动
    在 RedHat Enterprise、CentOS 或 Fedora Linux 上安装 MongoDB
    利用RATF框架实现web状态的监控
    利用接口测试框架实现web状态的监控
    uwsgi配置
    NODE_ENV&&cross-env的使用
    局部安装的webpack怎么通过npm脚本执行
    react
    .gitignore无法忽略部分文件/文件夹
    MongoDB
  • 原文地址:https://www.cnblogs.com/zhuozige/p/12582005.html
Copyright © 2020-2023  润新知