• hadoop云盘client的设计与实现(一)


    近期在hadoop云盘client项目。在做这个项目曾经对hadoop是一点都不了解呀,在网上查了好久。将client开发的是非常少的,在做这个项目的过程中遇到非常多奇葩的问题。

    并且试图换过好多方案,曾陷入深渊准备放弃。最后还是坚持下来了。

    在这里写篇博文。把我近期的遇到的困难和做client 的基本思路列出来,希望可以帮助哪些做相似项目的开发人员们!

    以下是hadoopclient简单的需求:

    1、可以实现主要的文件存储操作,上传、下载、删除、重命名、分类、创建目录、分享等功能。

    2、可以执行在多操作系统下:Windows 、Linux、Mac os 以及类Unix操作系统。

    3、可以有实现上千client同一时候操作,实现高并发server。

    4、实现够有良好的用户体验,可以參考百度云盘、360云盘界面。

    5、client要简洁明了最好不要依赖其它的软件。


    选择开发语言:

    java开发语言:

    搭建见过hadoop分布式文件系统的开发人员都知道,hadoop是基于java语言开发的,对java 的支持非常好。假设能用java开发岂不是最简单的方法吗?看是这种,在网上找着了,hadoop 提供的Java API确实非常全面。用起来也非常方便,包含java第三方的java包也非常多。很多东西都不须要自己实现。

    经过两天的实验Java有个致命的弱点,就是对桌面应用的支持不是非常好。开发出来的界面非常不美观,并且还依赖

    庞大的java虚拟机。用云盘client用户来说是一个不小的挑战。

    java开发语言直接宣告失败!


    C++开发语言:

    用C++开发语言还是一个不错的选择,C++可以做非常漂了GUI。跨平台当仁不让的要选择QT了。就是C++怎么操作hadoop分布式文件系统呢?这是一个非常大的问题,在网上查了好久。找到了libhdfs,通过c、c++訪问hdfs的API。

    不查不知道一查下一跳。libhdfs有非常大的局限性:

    首先libhdfs是不支持在Windows下开发的。

    其次libhdfs是基于java JNI技术的。用的是用C、C++调用java。也就是说libhdfs底层还是调用的java。仅仅只是是对java的api安装C语言的方式又封装了一次。看不到java 的哪些东西了,可是还是要依赖java虚拟机,还要配置一大堆的环境变量。

    这样看来似乎不能找到解决方式了 。。

  • 相关阅读:
    Oracle 常用的单行函数
    mysql练习02
    mysql练习
    Linux命令
    JSS
    CSS
    Html标签
    需求文档
    Oracle 常用的单行函数
    RHEL7最小化安装之后(桥接模式),查看本机IP,
  • 原文地址:https://www.cnblogs.com/zhchoutai/p/8443012.html
Copyright © 2020-2023  润新知