近期在hadoop云盘client项目。在做这个项目曾经对hadoop是一点都不了解呀,在网上查了好久。将client开发的是非常少的,在做这个项目的过程中遇到非常多奇葩的问题。
并且试图换过好多方案,曾陷入深渊准备放弃。最后还是坚持下来了。
在这里写篇博文。把我近期的遇到的困难和做client 的基本思路列出来,希望可以帮助哪些做相似项目的开发人员们!
以下是hadoopclient简单的需求:
1、可以实现主要的文件存储操作,上传、下载、删除、重命名、分类、创建目录、分享等功能。
2、可以执行在多操作系统下:Windows 、Linux、Mac os 以及类Unix操作系统。
3、可以有实现上千client同一时候操作,实现高并发server。
4、实现够有良好的用户体验,可以參考百度云盘、360云盘界面。
5、client要简洁明了最好不要依赖其它的软件。
选择开发语言:
java开发语言:
搭建见过hadoop分布式文件系统的开发人员都知道,hadoop是基于java语言开发的,对java 的支持非常好。假设能用java开发岂不是最简单的方法吗?看是这种,在网上找着了,hadoop 提供的Java API确实非常全面。用起来也非常方便,包含java第三方的java包也非常多。很多东西都不须要自己实现。
经过两天的实验Java有个致命的弱点,就是对桌面应用的支持不是非常好。开发出来的界面非常不美观,并且还依赖
庞大的java虚拟机。用云盘client用户来说是一个不小的挑战。
java开发语言直接宣告失败!
C++开发语言:
用C++开发语言还是一个不错的选择,C++可以做非常漂了GUI。跨平台当仁不让的要选择QT了。就是C++怎么操作hadoop分布式文件系统呢?这是一个非常大的问题,在网上查了好久。找到了libhdfs,通过c、c++訪问hdfs的API。
不查不知道一查下一跳。libhdfs有非常大的局限性:
首先libhdfs是不支持在Windows下开发的。
其次libhdfs是基于java JNI技术的。用的是用C、C++调用java。也就是说libhdfs底层还是调用的java。仅仅只是是对java的api安装C语言的方式又封装了一次。看不到java 的哪些东西了,可是还是要依赖java虚拟机,还要配置一大堆的环境变量。
这样看来似乎不能找到解决方式了 。。
。