• ftp on hdfs


    最近项目需要使用ftp 直接访问 hdfs上的目录,hdfs分布式文件系统提供了不同的接口,以便客户端可以与其进行交互。除了HDFS Shell,文件系统还通过WebDAV,Thrift,FTP和FUSE。下面是实施记录。

    hdfs环境

    cdh,hdf,apache,星环,华为等,这里使用公司现有的环境cdh集群(nanenode 的ip :10.32.8.235)

    ftp环境

    ftp机器ip:10.32.8.124

    在此机器上安装ftp服务,直接访问cdh集群hdfs目录。

    介质:

     ftp-on-hdfs 

    git:https://github.com/iponweb/hdfs-over-ftp

    编译安装

    安装jdk1.8  略

    安装maven 略

    解压安装介质后,到解压目录,修改 pom.xml文件

     切换到解压目录 src/main/resources 下修改hdfs信息和ftp-user信息分别对应文件【hdfs-over-ftp.properties】【users.properties】

     修改user.properties文件,在文件中添加FTP用户,需要配置多个用户时,按照下面的配置在文件中继续配置即可。密码是手动使用MD5工具进行加密的,加密的命令为:

    [root@oracle resources]# echo -n 12345678 | openssl md5
    (stdin)= 25d55ad283aa400af464c76d713c07ad

     进入到解压目录,执行脚本:

    [root@oracle hdfs-over-ftp-master]# ./hdfs-over-ftp.sh 

    测试

  • 相关阅读:
    公司实习职位与要求
    段子
    Python 练习项目1 弹球游戏
    精准控制PWM脉冲的频率和数量
    ST Link 调试问题总结
    验证
    大道至简(第六章)读后感
    动手动脑
    大道至简(第五i章)读后感
    数组课后作业
  • 原文地址:https://www.cnblogs.com/daxiong1314/p/13438760.html
Copyright © 2020-2023  润新知