hdfs的客户端操作

hdfs的客户端操作

hdfs的客户端有多种形式：

　　网页形式

　　命令行形式

　　客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网

文件的切块大小和存储的副本数量，都是由客户端决定！

所谓的由客户端决定，是通过配置参数来定的

hdfs的客户端会读以下两个参数，来决定切块大小、副本数量：

切块大小的参数： dfs.blocksize

副本数量的参数： dfs.replication

上面两个参数应该配置在客户端机器的hadoop目录中的hdfs-site.xml中配置

<property>
<name>dfs.blocksize</name>
<value>64m</value>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

hdfs命令行客户端的常用操作命令

查看hdfs中的目录信息

hadoop fs -ls /hdfs路径

上传文件到hdfs中

hadoop fs -put /本地文件  /aaa
hadoop fs -copyFromLocal /本地文件  /hdfs路径   ##  copyFromLocal等价于 put
hadoop fs -moveFromLocal /本地文件  /hdfs路径  ## 跟copyFromLocal的区别是：从本地移动到hdfs中

下载文件到客户端本地磁盘

hadoop fs -get /hdfs中的路径   /本地磁盘目录
hadoop fs -copyToLocal /hdfs中的路径 /本地磁盘路径   ## 跟get等价
hadoop fs -moveToLocal /hdfs路径  /本地路径  ## 从hdfs中移动到本地

在hdfs中创建文件夹

hadoop fs -mkdir  -p /aaa/xxx

移动hdfs中的文件（改名）

hadoop fs -mv /hdfs的路径  /hdfs的另一个路径

删除hdfs中的文件或文件夹

hadoop fs -rm -r /aaa

修改文件的权限

hadoop fs -chown user:group /aaa
hadoop fs -chmod 700 /aaa

追加内容到已存在的文件

hadoop fs -appendToFile /本地文件   /hdfs中的文件

显示文本文件的内容

hadoop fs -cat /hdfs中的文件
hadoop fs -tail /hdfs中的文件

public class HdfsClientDemo {
 
    FileSystem fs = null;
    
    @Before
    public void init() throws Exception{
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "2");
        conf.set("dfs.blocksize", "64m");     
        fs = FileSystem.get(new URI("hdfs://hdp-01:9000/"), conf, "root");        
    }
    
    /**
     * 上传文件到HDFS
     * @throws IOException
     * @throws IllegalArgumentException
     */
    @Test
    public void testSet() throws IllegalArgumentException, IOException{
        fs.copyFromLocalFile(new Path("D:/install-pkgs/hbase-1.2.1-bin.tar.gz"), new Path("/"));
        fs.close();        
    }
    
    
    
    /**
     * 从HDFS中下载文件到客户端本地磁盘
     * @throws IOException
     * @throws IllegalArgumentException
     */
    @Test
    public void testGet() throws IllegalArgumentException, IOException{        
        fs.copyToLocalFile(new Path("/hdp20-05.txt"), new Path("f:/"));
        fs.close();        
    }
    
    
    /**
     * 在hdfs内部移动文件修改名称
     */
    @Test
    public void testRename() throws Exception{       
        fs.rename(new Path("/install.log"), new Path("/aaa/in.log"));
        fs.close();        
    }
    
    /**
     * 在hdfs中创建文件夹
     */
    @Test
    public void testMkdir() throws Exception{    
        fs.mkdirs(new Path("/xx/yy/zz"));  
        fs.close();
    }
    
    
    /**
     * 在hdfs中删除文件或文件夹
     */
    @Test
    public void testRm() throws Exception{    
        fs.delete(new Path("/aaa"), true);   
        fs.close();
    }
    
    
    
    /**
     * 查询hdfs指定目录下的文件信息
     */
    @Test
    public void testLs() throws Exception{
        // 只查询文件的信息,不返回文件夹的信息
        RemoteIterator<LocatedFileStatus> iter = fs.listFiles(new Path("/"), true);  
        while(iter.hasNext()){
            LocatedFileStatus status = iter.next();
            System.out.println("文件全路径："+status.getPath());
            System.out.println("块大小："+status.getBlockSize());
            System.out.println("文件长度："+status.getLen());
            System.out.println("副本数量："+status.getReplication());
            System.out.println("块信息："+Arrays.toString(status.getBlockLocations()));  
            System.out.println("--------------------------------");
        }
        fs.close();
    }
    
    /**
     * 查询hdfs指定目录下的文件和文件夹信息
     */
    @Test
    public void testLs2() throws Exception{
        FileStatus[] listStatus = fs.listStatus(new Path("/"));   
        for(FileStatus status:listStatus){
            System.out.println("文件全路径："+status.getPath());
            System.out.println(status.isDirectory()?"这是文件夹":"这是文件");
            System.out.println("块大小："+status.getBlockSize());
            System.out.println("文件长度："+status.getLen());
            System.out.println("副本数量："+status.getReplication());
            System.out.println("--------------------------------");
        }
        fs.close();
    }