HDFS编程

HDFS编程主要API

Hadoop类	功能
org.apache.hadoop.fs.FileSystem	一个通用文件系统的抽象基类，可以被分布式文件系统继承。所有的可能使用Hadoop文件系统的代码都要使用到这个类。
org.apache.hadoop.fs.FileStatus	客户端可见的文件状态信息。
org.apache.hadoop.fs.FSDataInputStream	文件输入流，用于读取Hadoop文件。
org.apache.hadoop.fs.FSDataOutputStream	文件输出流，用于写Hadoop文件。
org.apache.hadoop.fs.permission.FsPermission	文件或者目录的权限
org.apache.hadoop.conf.Configuration	访问配置项。所有的配置项的值，如果没有专门配置，以core-default.xml为准；否则，以core-site.xml中的配置为准。

对于Hadoop文件系统中的文件的访问是基于 InputStream 和 OutputStream 的流式访问

import java.io.IOException;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Operation {

    private static Configuration conf = new Configuration();
    
    public static void putMerge(String inputDir, String hdfsFile) throws IOException{
        FileSystem hdfs = FileSystem.get(conf);
        FileSystem local = FileSystem.getLocal(conf);
        Path inputPath = new Path(inputDir);
        Path hdfsPath = new Path(hdfsFile);
        FileStatus[] inputFiles = local.listStatus(inputPath);
        FSDataOutputStream out = hdfs.create(hdfsPath);
        System.out.println("inputFiles length -> " + inputFiles.length);
        for(FileStatus inputFile:inputFiles){
            System.out.println(inputFile.getPath().getName());
            FSDataInputStream in = local.open(inputFile.getPath());
            byte[] buffer = new byte[256];
            int read = -1;
            while((read = in.read(buffer))>0){
                out.write(buffer,0,read);
            }
            in.close();
        }
    }

    
    public static void list(String hdfs) throws IOException{
        FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
        FileStatus fileList[] = fs.listStatus(new Path(hdfs));
        int FileNum = fileList.length;
        for(int fileCount = 0; fileCount < FileNum; fileCount++){
            System.out.println(fileList[fileCount].getPath().getName() + " : " + fileList[fileCount].getLen());
        }
    }
    
    public static void delete(String hdfs) throws IOException{
        FileSystem fs = FileSystem.get(URI.create(hdfs), conf);
        fs.deleteOnExit(new Path(hdfs));
    }
    
    public static void main(String[] args) throws IOException {
        putMerge("/root/test", "hdfs://localhost:9000/user/root/test");
        list("hdfs://localhost:9000/user/root");
        delete( "hdfs://localhost:9000/user/root/test");
    }
    
}