• Spark环境搭建(二)-----------HDFS shell 常用操作


    配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似

    1)  配置Hadoop的环境变量,类似Java的配置

      在 ~/.bash_profile 中加入

        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

        export PATH=$HADOOP_HOME/bin:$PATH

    2)  获取命令帮助:

        使用命令  hadoop fs

        如图:

    3)   shell命令的简单使用

          操作           命令

        创建文件夹test      hadoop fs -mkdir /test/

        创建多层目录        hadoop fs -mkdir -p /a/b

     输出目录                          hadoop fs -ls /

     递归输出目录      hadoop fs -ls -R /

       上传文件到HDFS             hadoop fs -put filename  /path

       查看文件内容text      hadoop fs -text /path/filename

       查看文件内容cat              hadoop fs -cat /path/filename

       从HDFS下载到本地    hadoop fs -get /path/filename   newfilename

       删除文件(不适合文件夹)  hadoop fs -rm /path/filename

       删除文件夹(递归形式)     hadoop fs -rmr /path/filename

       删除文件夹(递归形式2)    hadoop fs -rm -r /path/filename

    4)具体其他命令可使用  hadoop fs 查找

       

  • 相关阅读:
    Python多线程笔记(三),queue模块
    Python多线程笔记(二)
    Python多线程笔记(一)
    Python3对时间模块的操作
    解决 ImportError: No module named 'pip._internal'问题
    Python字符串的操作
    Python 的AES加密与解密
    第十一周学习进度报告
    各组建议
    用户场景分析
  • 原文地址:https://www.cnblogs.com/ruoniao/p/7212528.html
Copyright © 2020-2023  润新知