使用Hadoop打造私有云盘之API操作

项目介绍：使用hadoop实现云盘的增删读获取列表功能，hadoop不支持数据修改，特性是一次写入多次读取。主流的网盘也不支持该功能。今天我们用hdfs的FileSystem实现这些操作。

1、上传功能

指定文件的本地路径和hdfs存储路径，通过hadoop提供的IOUtils工具类将流写入到hdfs中。

2、下载功能

指定要访问的hdfs中的文件路径，使用FileSystem的open函数获取Hadoop的输入流，使用Hadoop提供的IOUtils工具类将输入流写入到本地磁盘或者控制太。

3、删除功能

指定要访问的hdfs中的文件路径，使用FileSystem的delete函数删除文件或文件夹，返回一个boolean值，判断是否删除成功。

4、查看文件列表功能

指定要访问的hdfs中的路径，使用FileSystem的listStatus函数获取列表状态数组，遍历显示列表内容。

package hdfs;

import java.io.FileInputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class FileSystemAceess {

    /**
     * @param args
     * @throws Exception
     * @throws URISyntaxException
     */
    public static void main(String[] args) throws URISyntaxException, Exception {
        // 传入URI访问地址获取FileSystem对象
        FileSystem fs = getFileSystem(new URI(args[0]));

        //上传函数
        uploadFile(args, fs);
        //下载函数
        ReadFile(args, fs);
        //删除函数
        delete(args, fs);
        //获取列表函数
        listStatus(args, fs);
    }

    private static void listStatus(String[] args, FileSystem fs)
            throws IOException {
        // 获取列表信息
        String pth = args[2].substring(0, 1);
        FileStatus[] listStatus = fs.listStatus(new Path(pth));
        System.out.println("类型 权限 副本数 块大小 文件大小 文件路径");
        // 遍历列表信息
        for (FileStatus fileStatus : listStatus) {
            String fileDir = fileStatus.isDir() ? "文件夹" : "文件";
            String permission = fileStatus.getPermission().toString();
            short replication = fileStatus.getReplication();
            long len = fileStatus.getLen();
            long blockSize = fileStatus.getBlockSize();
            String path = fileStatus.getPath().toString();
            System.out.println(fileDir + " " + permission + " " + replication
                    + " " + (blockSize/1024==0?"文件夹":blockSize/1024/1024+"Mb" )+ " "+(len/1024==0?"文件夹":len+"Byte")+" "+path);

        }
    }

    /**
     * FileSystem.delete 删除文件或文件夹
     *
     * @param args
     *            外部传入的参数
     * @param fs
     *            FileSystem文件系统
     * @throws IOException
     */
    private static void delete(String[] args, FileSystem fs) throws IOException {
        //上传前判断是否存在，如果存在删除
        if(fs.exists(new Path(args[2]))){
            boolean result = fs.delete(new Path(args[2]), true);
            if(result){
                System.out.println("删除成功！！");
            }else{
                System.out.println("删除失败！");
            }
        }
       
        /**
         * 第一个参数，删除文件的路径，例如，/a.txt 第二个参数，删除后自动关闭流
         */
        boolean result = fs.delete(new Path(args[2]), true);
        if (result) {
            System.out.println("删除成功！！！");
        } else {

            System.out.println("删除失败！！！");
        }
    }

    /**
     * FileSystem.open 读取、下载
     *
     * @param args
     *            外部传入的参数
     * @param fs
     *            FileSystem对象
     * @throws IOException
     */
    private static void ReadFile(String[] args, FileSystem fs)
            throws IOException {
        // 获取hdfs文件系统的输入流
        FSDataInputStream in = fs.open(new Path(args[2]));
        // 通过hadoop提供的ioutils工具包在控制台输出内容
        IOUtils.copyBytes(in, System.out, 1024, true);
    }

    /**
     * FileSystem.create 上传文件
     *
     * @param args
     * @param fs
     *            FileSystem对象
     * @throws Exception
     *
     */
    @SuppressWarnings("unused")
    private static void uploadFile(String[] args, FileSystem fs)
            throws Exception {
        // 创建文件输入流，指定要上传的文件地址
        FileInputStream in = new FileInputStream(args[1]);
        // 使用create方法上传,设置上传的路径和文件名
        FSDataOutputStream out = fs.create(new Path(args[2]));
        // 使用hadoop提供的IOUtils上传
        /**
         * 第一个参数，输入流也就是指定需要上传的文件路径 第二个参数，输出流是hadoop的存储位置 第三个参数，缓冲区大小 第四个参数，是否上传
         */
        IOUtils.copyBytes(in, out, 1024, true);
    }

    // 获取FileSystem对象
    static FileSystem getFileSystem(URI uri) throws Exception {
        return FileSystem.get(uri, new Configuration());
    }

}

hadoop插件设置

以上参数根据实际情况设置！

效果图：

读取文件

获取列表信息