一、系统架构
二、构成部分
1、Tracker Server:跟踪服务器,记录文件信息,可单台或集群部署。
2、Storage Server:存储服务器,文件存储位置,分卷或分组部署。
3、Client:客户端
三、性质
1、文件存储大小:4KB ~ 500MB
2、V3.0版本后,新增小文件合并存储机制
3、文件ID由系统生成,作为访问凭证
4、下载文件支持多线程方式,支持断点续传
5、以key-value的方式管理文件的元数据
四、原理
文件保存或获取原则:
1、ribon轮询
2、指定
3、优先选取剩余存储空间多的
文件删除:针对小文件,删除合并文件的小文件对饮offset位置内容,可复用。
五、缺陷
1、因为文件上传保存到一台服务器,即认为是成功的。如果这台服务器发生故障,文件没来得及同步到同组下其它StorageServer,则文件很大可能会丢失。
2、文件删除时,是删除合并文件的指定索引内容,由于空间难以复用,和系统本身无回收机制,会造成空间浪费。
3、负载均衡是静态的,启动前就需配置,无法动态配置。
4、JAVA支持API较少,很多需要自己实现。
六、环境搭建(系统:utunbu18)
1、安装gcc、git、make、pcre、zlib等软件
2、git下载libfastcommon、fastfds、fastfds-nginx-module、nginx并安装
3、配置tracker.conf、storage.conf、clent.conf、nginx.conf
注:本地搭建单机模式,未使用NG
七、项目接入
1、项目pom添加fastdfs-client依赖
2、添加fdfs依赖配置项
3、测试
4、文件可正常下载
github地址:https://github.com/YhcAndHc/dfs-demo.git
注意里面有hdfs和fastdfs两个demo,请按需下载。