• HDFS之自定义上传、下载文件的大小


    在之前的总结中,对文件的上传和下载都是默认的全部大小。

    那么,如何做到上传文件时,只上传这个文件的一部分或只下载文件的某一部分?

    官方实现的代码:

    	  InputStream in=null;
          OutputStream out = null;
          try {
            in = srcFS.open(src);
            out = dstFS.create(dst, overwrite);
            IOUtils.copyBytes(in, out, conf, true);
          } catch (IOException e) {
            IOUtils.closeStream(out);
            IOUtils.closeStream(in);
            throw e;
          } 
    

    可以看到,变量in就是输入流,即要上传的文件;变量out就是输入流,先目标文件系统写入。
    变量srcFS:目标文件所在路径,调用了open()方法便生成了输入流;变量dstFS:写入路径,调用create()方法便生成了输出流。然后使用copyBytes()方法即流拷贝,并最后传入参数true,表示方法结束后关闭输入输出流。但是使用流拷贝也是全部的下载上传,下面我参照官方的写法可以实现自定义大小上传和下载!


    首先对一些变量名的解释:
    fs:HDFS的文件系统
    localFs:本地的文件系统

    public class TestCustomUploadAndDownload {
    
       private FileSystem fs;
       private FileSystem localFs;
       private Configuration conf = new Configuration();
    	
    	@Before
    	public void init() throws IOException, URISyntaxException {
    		//创建一个客户端对象
    		 fs=FileSystem.get(new URI("hdfs://hadoop101:9000"),conf);
    		 localFs=FileSystem.get(new Configuration());
    	}
    	
    	@After
    	public void close() throws IOException {
    		if (fs !=null) {
    			fs.close();
    		}
    	}
    	
    	// 从本地文件系统上传文件到HDFS,只上传文件的前10M
    	@Test
    	public void testCustomUpload() throws Exception {
    		
    		//提供两个Path,和两个FileSystem
    		Path src=new Path("e:/悲惨世界(英文版).txt");
    		Path dest=new Path("/悲惨世界(英文版)10M.txt");
    		
    		// 使用本地文件系统中获取的输入流读取本地文件
    		FSDataInputStream is = localFs.open(src);
    		
    		// 使用HDFS的分布式文件系统中获取的输出流,向dest路径写入数据
    		FSDataOutputStream os = fs.create(dest, true);
    		
    		// 1k
    		byte [] buffer=new byte[1024];
    		
    		// 流中数据的拷贝
    		for (int i = 0; i < 1024 * 10; i++) {	
    			is.read(buffer);
    			os.write(buffer);
    		}
    		
    		//关流
    		 IOUtils.closeStream(is);
    	     IOUtils.closeStream(os);
    	}
    	
    }
    
    
  • 相关阅读:
    替身邮:同一个邮箱多个名字
    CAGD: 第九章 几何连续性1
    Windows 2008 server 安装 Windows Live Essential 2011 的问题
    设计、仿真、工艺、加工、优化、开发交流QQ群 106930856 行业软件、二次开发、优化技术
    著佐权(Copyleft)
    Proe 二次开发:Session(会话) 对象
    CAGD: 第八章 曲线的几何处理技术
    UG/NX FEA 网格
    CAGD第十二章B样条曲面2
    推荐网络硬盘:金山快盘 15G
  • 原文地址:https://www.cnblogs.com/sunbr/p/13268215.html
Copyright © 2020-2023  润新知