• 显示Hadoop文件系统中的路径的文件信息


    FileSystem的listStatus方法的功能:列出目录中的内容

    当传入的参数是一个文件时,它会转变成以数组的方式返回长度为1的FileStatus对象

    当传入的参数是一个目录时,返回0或多个FileStatus对象,表示此目录中包含的文件和目录

    如果指定一组路径,其执行结果相当于依次轮流传递每条路径并对其调用listStatus()方法,再将FileStatus对象数组累积存入同一数组中

    注意FileUtil中stat2Paths()方法的使用,它将一个FileStatus对象数组转换为一个Path对象数组 

    程序:

    package com.lcy.hadoop.file;
    
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.FileUtil;
    import org.apache.hadoop.fs.Path;
    
    public class ListStatus {
    
        public static void main(String[] args) throws Exception{
            // TODO Auto-generated method stub
            String uri=args[0];
            Configuration conf=new Configuration();
            FileSystem fs=FileSystem.get(URI.create(uri),conf);
            
            Path[] paths=new Path[args.length];
            for(int i=0;i<paths.length;i++){
                paths[i]=new Path(args[i]);
            }
            FileStatus[] status=fs.listStatus(paths);
            Path[] listedPaths=FileUtil.stat2Paths(status);
            for(Path p:listedPaths){
                System.out.println(p);
            }
        }
    }

     

    运行示例:显示一组路径集目录列表的并集

  • 相关阅读:
    promise 理解
    强化学习的概念
    Ubuntu安装机器学习环境步骤
    jsp文件复制到web项目出错
    jdbc导致的问题
    C#窗体-猜数字
    软件工程结对作业01
    第二阶段冲刺10天 第3天进展报告
    第二阶段冲刺10天 第2天进展报告
    第二阶段冲刺10天 第1天进展报告
  • 原文地址:https://www.cnblogs.com/Murcielago/p/4319904.html
Copyright © 2020-2023  润新知