HDFS开发实例

1、列出HDFS中的文件

package com.hdfs.test;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;

public class AccessHdfs {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException{
        
        //以下两句仅用于在windows下访问服务器中的HDFS时，解决特定的错误问题
        System.setProperty("hadoop.home.dir", "C:/Users/learn/Desktop/hadoopfiles");
        System.setProperty("HADOOP_USER_NAME","hadoop");
        
        Configuration conf = new Configuration();    
        
        //conf.set("fs.defaultFS", "hdfs://192.168.1.215:9000");
        //FileSystem fS = FileSystem.get(conf);
        //如果不在conf中设置，可以这样写：
        FileSystem fS = FileSystem.get(URI.create("hdfs://192.168.1.215:9000"), conf);
                
        //列出目录
        String dir = "/";
        FileStatus[] fileStatus = fS.listStatus(new Path(dir));
        Path[] list = FileUtil.stat2Paths(fileStatus);
        for(Path path : list){
            System.out.println(path.toString());
        }
        fS.close();                
    }
            
}

注：

1> 如果出现了java.io.IOException: Could not locate executable nullinwinutils.exe in the Hadoop binaries 这种错误，可以通过设置设置HADOOP_HOME 环境变量来解决，在本例中，即使用System.setProperty("hadoop.home.dir", "C:/Users/learn/Desktop/hadoopfiles");这句代码，除此之外，还需要在设置的路径C:/Users/learn/Desktop/hadoopfiles中建立一个bin文件夹，并从网络上下载winutils.exe文件，放到这个bin文件夹中。至于所设置的路径，不必包含真正的hadoop文件。

2> System.setProperty("HADOOP_USER_NAME","hadoop");这句用于设置用户名，这是因为在linux中Hadoop系统的所有者被设置为hadoop用户，在windows下访问时可以这样显式的指定，如果没有指定，系统会将windows系统的当前用户作为访问Hadoop系统的用户，出现类似Permission denied的错误。

3> 当打包成jar文件时，以上两句是不需要的。

4> FileSystem用来获取文件系统的一个实例，FileStatus包含了文件中的元数据

2、创建目录与删除目录

Configuration conf = new Configuration();    
FileSystem fS = FileSystem.get(URI.create("hdfs://192.168.1.215:9000"), conf);
                
//创建目录
fS.mkdirs(new Path("TestData"));
fS.mkdirs(new Path("/DataWorld"));
        
//删除目录，如果是空的路径，可以忽略第二个参数
fS.delete(new Path("TestData"),true);    
        
fS.close();        

 注意上传的路径，如果没有指定根目录，则是/user/用户名/目录名

3、上传文件与读取文件

Configuration conf = new Configuration();            
FileSystem fS = FileSystem.get(URI.create("hdfs://192.168.1.215:9000"), conf);        

//上传文件
Path src = new Path("C:/Users/learn/Desktop/hadoopfiles/Test.txt");
Path dst = new Path("TestData");
fS.copyFromLocalFile(src, dst);        
        
//读取文件
String filedir = "TestData/Test.txt";
FSDataInputStream file = fS.open(new Path(filedir));
BufferedReader in = null;
String line;
in =new BufferedReader(new InputStreamReader(file, "UTF-8"));
while ((line = in.readLine()) != null) {
    System.out.println(line);            
}
if(in !=null){
    in.close();
}

 也可以打包成jar文件运行