HDFS 基本操作

启动 TDH Client

// 进入 TDH-Client 目录下

1. cd /transwarp/Desktop/TDH-Client
   // 执行 TDH Client 的 init.sh 脚本，此操作只对当前 Session 有效
2. source ./init.sh
   

查看目录

//在 HDFS 上查看实验目录/training 下文件及目录结构。
hadoop fs -ls /training

创建目录

//在 HDFS 上创建目录“/training/{student_name}/hdfs_data”。
// 创建 HDFS 目录
hadoop fs -mkdir -p /training/hanwenhao/hdfs_data

修改目录权限

//将 HDFS 目录“/training/{student_name}/hdfs_data”的权限改为“rwxrwxrwx”。
hadoop fs -chmod -R 777 /training/hanwenhao/hdfs_data

上传文件

//在本地准备测试文件 file01，并上传到 HDFS 目录“/training/{student_name}/hdfs_data”中。
// 创建测试文件 file01，并将测试内容写入文件

1. echo "Hello Hadoop File System" > file01
   // 上传测试文件 file01 至 HDFS
2. hadoop fs -put file01 /training/hanwenhao/hdfs_data

查看目录内容

//查看 HDFS 目录“/ training/{student_name}/hdfs_data”的内容，检查测试文件 file01 是否上传成功。
hadoop fs -ls / training/hanwenhao/hdfs_data

查看文件内容

//查看 HDFS 文件“/ training/{student_name}/hdfs_data/file01”的内容。
hadoop fs -cat / training/hanwenhao/hdfs_data/file01

通过 Web 查看目录和文件数据块

//通过 Transwarp Manager 浏览 HDFS 目录，并找到文件“/training/{student_name}/hdfs_data /file01”的 Block
信息。

1. 登录 Transwarp Manager
2. 进入 HDFS 服务，点击左侧“角色”按钮
3. 点击 Namenode 后面的“Link”，确保进入的是 Active Namenode
4. 点击菜单项“Utilities/Browse the file system”，浏览 HDFS 目录
5. 找到文件“/ training/hanwenhao/hdfs_data/file01”
6. 查看文件的 Block 信息