• 访问HDFS文件系统


    一、命令行接口

    默认操作的是hdfs

    hadoop dfsadmin -safemode leave/enter---离开或进入安全模式

    hadoop fs -copyFromLocal    localfrom   hdfsdest---从本地文件系统复制文件到hdfs

    hadoop fs -ls

    可以通过指定URL,hadoop为我们提供操作不同文件系统的接口

    hadoop fs -ls file:///---------------------操作的是本地文件系统

    二、程序访问HADOOP的文件系统

    1、非JAVA语言访问

          ---WebHDFS(namenodedatanode内嵌webhdfs端节点运行)--的风俗dfs.webhdfs.enabled:true--默认设置为true

          ----HttpFS代理,通过httpfs.sh启动代理,默认端口14000

         ----C语言库libhdfs

    2、NFSv3(hadoop)网关,支持文件系统的挂载,支持追加数据,不能随机修改。

    3、FUSE--用户空间的文件挂载支持,优先NFS

    三、java接口访问

    1、通过FileSystem抽象接口,访问hadoop支持的文件系统

    ----通过java程序时别hdfs url

        static{

         URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())

        }

        IOUtils.copybytes(from,to,bufsize,bool[是否自动关闭输入流])

  • 相关阅读:
    【重要】ASCII码表
    深入了解php opcode缓存原理
    php 请求参数限制
    【Demo】 生成二维码 和 条形码
    【Demo】HTML5 拍照上传
    jq cookie的使用
    vue.js中的v-for输出数组理解
    js无限轮播的写法
    HTML5视频的使用总结
    angular报错总计
  • 原文地址:https://www.cnblogs.com/justart/p/11632117.html
Copyright © 2020-2023  润新知