• HDFS文件操作(命令行)


    HDFS是一种分布式文件系统,为MapReduce这种框架下的海量数据分布式处理而设计。

    Hadoop之HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linux文件命令类似的命令行工具;另一种是JavaAPI,即利用Hadoop的Java库,采用编程的方式操作HDFS的文件。

    方式一:命令行方式

    Hadoop文件操作命令形式为

    hadoop fs -cmd <args>

    说明:cmd是具体的文件操作命令,<args>是一组数目可变的参数。

    Hadoop最常用的文件操作命令,包括添加文件和目录、获取文件、删除文件等。

    1.添加文件和目录

    HDFS有一个默认工作目录/usr/$USER,其中$USER是你的登录用户名,例如root。该目录不能自动创建,需要执行mkdir命令创建。

    hadoop fs -mkdir  /usr/root

    使用Hadoop的命令put将本地文件README.txt送到HDFS。

    hadoop fs -put README.txt  .

    注意上面这个命令最后一个参数是句点(.),这意味着把本地文件放入到默认的工作目录,该命令等价于:

    hadoop fs -put README.txt     /user/root

    使用Hadoop的ls命令,即:hadoop fs -ls

    2.获取文件

    获取文件包含两层意思,一是HDFS从本地文件中获取文件,即前面介绍的添加文件;二是本地文件从HDFS中获取文件,可以使用Hadoop的get命令。例如若本地文件没有README.txt文件,需要从HDFS中取回,可以执行如下命令。

    hadoop fs -get  README.txt  .

    或者

    hadoop fs -get README.txt  /usr/root/README.txt

    3.删除文件

    Hadoop删除文件命令为rm。例如要删除从本地文件上传的README.txt,可以执行如下命令:

    hadoop  fs -rm  README.txt

    4.检索文件

    检索文件即查阅HDFS中的文件内容,可以使用hadoop中的cat命令。例如要查阅README.txt的内容,可以执行如下命令:

    hadoop fs -cat README.txt

    另外,hadoop的cat命令的输出也可以使用管道传递给Unix 命令的head:

    hadoop fs -cat README.txt | head

    Hadoop也支持tail命令查看最后一千字节。例如要查阅README.txt最后一千个字节,可以执行如下命令。

    hadoop fs -tail README.txt

    5.查阅帮助

    查阅Hadoop命令帮助,可以让我们很好地掌握和使用Hadoop的命令。我们可以执行hadoop fs 获取所用版本Hadoop的一个完整命令类别,也可以使用help来显示某个具体命令的用法及简短描述。

    例如,要了解ls命令,可执行如下命令:

    hadoop  fs -help ls

    以上内容参考自http://blog.csdn.net/wangloveall/article/details/28578393,感谢博主!

  • 相关阅读:
    C#聊天+五子棋
    分页
    用户自定义控件(.ascx)
    一、Text To Speech
    验证码
    白话学习MVC(三)页面周期二
    二、Speech To Text
    微软云体验营 北京站 ,4月27日免费开营啦!名额有限速速报名!
    Windows 8 页面应用测试(2)
    《Windows 8应用开发权威指南》图书开始在网络上预售
  • 原文地址:https://www.cnblogs.com/houhaihu/p/6652551.html
Copyright © 2020-2023  润新知