• 分布式文件系统----fastDFS


    fastDSF介绍

      FastDFS是用c语言编写的一款开源的分布式文件系统,它是由淘宝资深架构师余庆编写并开源。FastDFS专为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

    为什么要使用fastDFS呢?

      NFS、GFS都是通用的分布式文件系统,通用的分布式文件系统的优点的是开发体验好,但是系统复杂性高、性能一般,而专用的分布式文件系统虽然开发体验性差,但是系统复杂性低并且性能高。fastDFS非常适合存储图片等那些小文件,fastDFS不对文件进行分块,所以它就没有分块合并的开销,fastDFS网络通信采用socket,通信速度很快。

        

    文件上传流程

                     

      客户端上传文件后存储服务器将文件ID返回给客户端,此文件ID用于以后访问该文件的索引信息。文件索引信息,包括:组名,虚拟磁盘路径,数据两级目录,文件名。 

    • group1:组名:文件上传后所在的storage组名称,在文件上传成功后有storage服务器返回,需要客户端自行保存。
    • /M00:虚拟磁盘路径:storage配置的虚拟路径,与磁盘选项store_path*对应。如果配置了store_path0则是M00,如果配置了store_path1则是M01,以此类推。
    • /02/44:数据两级目录:storage服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
    • wkgDr...78.sh:文件名,与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。 

    文件下载流程

       

      tracker根据请求的文件路径即文件ID 来快速定义文件。比如请求下边的文件
    • 1.通过组名tracker能够很快的定位到客户端需要访问的存储服务器组是group1,并选择合适的存储服务器提供客户端访问。
    • 2.存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录,并根据文件名找到客户端需要访问的文件。 

    fastDFS安装与配置(Centos)

    参考:https://www.cnblogs.com/handsomeye/p/9451568.html

    安装 gcc 

      1、安装 FastDFS 需要先将官网下载的源码进行编译,编译依赖 gcc 环境,如果没有 gcc 环境,需要安装
    gcc:yum install gcc-c++

    安装 libevent

      1、FastDFS 依赖 libevent 库,需要安装
    yum -y install libevent

    安装 libfastcommon

      libfastcommon 是 FastDFS 官方提供的,libfastcommon 包含了 FastDFS 运行所需要的一些基础库。
      1、获取libfastcommon安装包:
    wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz
    

      解压安装包:tar -zxvf V1.0.38.tar.gz

      2、进入目录

    cd libfastcommon-1.0.38

      3、执行编译

    ./make.sh
    

      4、安装

    ./make.sh install
      libfastcommon 安装好后会自动将库文件拷贝至/usr/lib64 下

    安装FastDFS

      1、获取fdfs安装包:

    wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
    

      2、解压安装包:tar -zxvf V5.11.tar.gz

      3、进入目录:cd fastdfs-5.11

      4、执行编译:./make.sh

      5、安装:./make.sh install

      6、查看可执行命令:ls  -la  /usr/bin/fdfs*

    配置Tracker服务

      1、进入 /etc/fdfs 目录,有三个.sample后缀的文件(自动生成的fdfs模板配置文件),通过cp命令拷贝tracker.conf.sample,删除.sample后缀作为正式文件(可以不删除)

               

       2、编辑tracker.conf:vi tracker.conf,修改相关参数

    base_path=/home/mm/fastdfs/tracker  #tracker存储data和log的跟路径,必须提前创建好
    port=23000                          #tracker默认23000
    http.server_port=80                 #http端口,需要和nginx相同
    

      3、启动tracker(支持start|stop|restart)

    /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
    

      4、查看tracker启动日志:进入刚刚指定的 base_path(/home/mm/fastdfs/tracker)中有个logs目录,查看tracker.log文件

      5、查看端口情况:netstat -apn|grep fdfs

    配置Storage服务(如果和Tracker服务器不在同一台服务器上)

      安装 gcc (如果storage服务和tracker服务配置在同一台机器上就不需要安装)

      安装 libevent(如果storage服务和tracker服务配置在同一台机器上就不需要安装)

      安装 libfastcommon(如果storage服务和tracker服务配置在同一台机器上就不需要安装)

      安装FastDFS(如果storage服务和tracker服务配置在同一台机器上就不需要安装)

      1、进入/etc/fdfs目录,有cp命令拷贝storage.conf.sample,删除.sample后缀作为正式文件;(可以不用删除)

      2、编辑storage.conf:vi storage.conf,修改相关参数:

    base_path=/home/mm/fastdfs/storage   #storage存储data和log的跟路径,必须提前创建好
    port=23000  #storge默认23000,同一个组的storage端口号必须一致
    group_name=group1  #默认组名,根据实际情况修改
    store_path_count=1  #存储路径个数,需要和store_path个数匹配
    store_path0=/home/mm/fastdfs/storage  #如果为空,则使用base_path,
    #store_path1=/xx/xx                   #如果有多个磁盘使用
    tracker_server=10.122.149.211:22122 #配置该storage监听的tracker的ip和port
    #tracker_server=10.122.149.212:22122 #如果有多个tracker服务器

      3、启动storage(支持start|stop|restart):

    /usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
    

      4、查看storage启动日志:进入刚刚指定的base_path(/home/mm/fastdfs/storage)中有个logs目录,查看storage.log文件

                  

      5、此时再查看tracker日志:发现已经开始选举,并且作为唯一的一个tracker,被选举为leader

                 

      6、查看端口情况:netstat -apn|grep fdfs

      7、通过monitor来查看storage是否成功绑定

    /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
    

    上传/下载文件测试

    参考:https://github.com/happyfish100/fastdfs-client-java

    依赖

            <dependency>
                <groupId>net.oschina.zcx7878</groupId>
                <artifactId>fastdfs-client-java</artifactId>
                <version>1.27.0.0</version>
            </dependency>
    

    创建fastdfs-client.properties

    fastdfs.connect_timeout_in_seconds = 5      #http连接超时时间
    fastdfs.network_timeout_in_seconds = 30     #tracker和storage网络通讯超时时间
    fastdfs.charset = UTF-8                     #字符编码
    fastdfs.tracker_servers = 192.168.101.65:22122 #tracker服务器地址,多个地址使用,分割
    

    测试

    import org.csource.common.MyException;
    import org.csource.fastdfs.*;
    import org.junit.Test;
    import org.junit.runner.RunWith;
    import org.springframework.boot.test.context.SpringBootTest;
    import org.springframework.test.context.junit4.SpringRunner;
    
    import java.io.File;
    import java.io.FileOutputStream;
    import java.io.IOException;
    
    /**
     * @author Administrator
     * @version 1.0
     **/
    @SpringBootTest
    @RunWith(SpringRunner.class)
    public class TestFastDFS {
    
        //上传文件
        @Test
        public void testUpload(){
    
            try {
                //加载fastdfs-client.properties配置文件
                ClientGlobal.initByProperties("config/fastdfs-client.properties");
                //定义TrackerClient,用于请求TrackerServer
                TrackerClient trackerClient = new TrackerClient();
                //连接tracker
                TrackerServer trackerServer = trackerClient.getConnection();
                //获取Stroage
                StorageServer storeStorage = trackerClient.getStoreStorage(trackerServer);
                //创建stroageClient
                StorageClient1 storageClient1 = new StorageClient1(trackerServer,storeStorage);
                //向stroage服务器上传文件
                //本地文件的路径
                String filePath = "d:/logo.png";
                //上传成功后拿到文件Id
                String fileId = storageClient1.upload_file1(filePath, "png", null);
                System.out.println(fileId);
                //group1/M00/00/01/wKhlQVuhU3eADb4pAAAawU0ID2Q159.png
    
            } catch (Exception e) {
                e.printStackTrace();
            }
    
        }
    
    
        //下载文件
        @Test
        public void testDownload(){
            try {
                //加载fastdfs-client.properties配置文件
                ClientGlobal.initByProperties("config/fastdfs-client.properties");
                //定义TrackerClient,用于请求TrackerServer
                TrackerClient trackerClient = new TrackerClient();
                //连接tracker
                TrackerServer trackerServer = trackerClient.getConnection();
                //获取Stroage
                StorageServer storeStorage = trackerClient.getStoreStorage(trackerServer);
                //创建stroageClient
                StorageClient1 storageClient1 = new StorageClient1(trackerServer,storeStorage);
                //下载文件
                //文件id
                String fileId = "group1/M00/00/01/wKhlQVuhU3eADb4pAAAawU0ID2Q159.png";
                byte[] bytes = storageClient1.download_file1(fileId);
                //使用输出流保存文件
                FileOutputStream fileOutputStream = new FileOutputStream(new File("c:/logo.png"));
                fileOutputStream.write(bytes);
            } catch (IOException e) {
                e.printStackTrace();
            } catch (MyException e) {
                e.printStackTrace();
            }
        }
    }
    

      

    搭建图片虚拟服务器

    在storage安装Nginx和fastdfs-nginx-module模块

      在storage server上安装nginx的目的是对外通过http 访问 storage server上的文件。使用nginx的模块FastDFS-nginx-module的作用是当通过http方式访问storage中的文件,如果当前storage本机没有要找的文件时向源 storage主机代理请求文件(上传文件时,我们是将文件上传到源storage服务器,此时同一组的其他storage服务器来同步源storage服务器文件)

                 

    nginx 代理

      单独安装 nginx 代理服务,它的作用是代理访问 storage 上的文件,实现负载均衡。nginx 的安装细节参考 nginx 文档,这里使用单机 nginx,也可以使用两台 nginx 组成高可用或者采用 lvs+nginx 访问 Storage 上的 nginx。
      示例
      
    #storage群group1组
    upstream storage_server_group1{
    	server 192.168.101.5:80 weight=10;
    	server 192.168.101.6:80 weight=10;
    }
    #storage群 group2组
    upstream storage_server_group2{
    	server 192.168.101.7:80 weight=10;
    	server 192.168.101.8:80 weight=10;
    }
    server {
    	listen 80;
    	server_name ccc.test.com;
    	location /group1{
    		proxy_redirect off;
    		proxy_set_header Host $host;
    		proxy_set_header X-Real-IP $remote_addr;
    		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    		proxy_pass http://storage_server_group1;
    	}
    	location /group2{
    		proxy_redirect off;
    		proxy_set_header Host $host;
    		proxy_set_header X-Real-IP $remote_addr;
    		proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    		proxy_pass http://storage_server_group2;
    	}
    } 

    在Storage上安装nginx和fastdfs-nginx-module

    1、 下载Nginx安装包

    wget http://nginx.org/download/nginx-1.15.2.tar.gz
    

      解压nginx:tar -zxvf nginx-1.15.2.tar.gz

    2、下载fastdfs-nginx-module安装包

    wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
    

      解压fastdfs-nginx-module:tar -xvf V1.20.tar.gz

    fastdfs-nginx-module模块配置

      1、修改fastdfs-nginx-module-1.20/src/config文件,将/usr/local/路径改为/usr/

      

      2、将FastDFS-nginx-module/src下的mod_FastDFS.conf拷贝至/etc/fdfs/下

    cp mod_FastDFS.conf /etc/fdfs/

      3、并修改 mod_FastDFS.conf 的内容:vi /etc/fdfs/mod_FastDFS.conf

    base_path=/home/mm/fastdfs
    tracker_server=10.122.149.211:22122 #tracker的地址
    url_have_group_name=true #url是否包含group名称
    storage_server_port=23000 #需要和storage配置的相同
    store_path_count=1  #存储路径个数,需要和store_path个数匹配
    store_path0=/home/mm/fastdfs/storage #文件存储的位置

    nginx 模块配置

      1、加载fastdfs-nginx-module模块

    ./configure --prefix=/usr/local/nginx --add-module=/usr/local/src/fastdfs-nginx-module-1.20/src/
    

      更多配置配置

    ./configure 
    --prefix=/usr/local/nginx 
    --pid-path=/var/run/nginx/nginx.pid 
    --lock-path=/var/lock/nginx.lock 
    --error-log-path=/var/log/nginx/error.log 
    --http-log-path=/var/log/nginx/access.log 
    --with-http_gzip_static_module 
    --http-client-body-temp-path=/var/temp/nginx/client 
    --http-proxy-temp-path=/var/temp/nginx/proxy 
    --http-fastcgi-temp-path=/var/temp/nginx/fastcgi 
    --http-uwsgi-temp-path=/var/temp/nginx/uwsgi 
    --http-scgi-temp-path=/var/temp/nginx/scgi 
    --add-module=/usr/local/FastDFS-nginx-module/src

      2、编译安装:

    make
    make install
    

      nginx配置

    server {
    	listen 80;
    	server_name 192.168.101.65;
    	location /group1/M00/{
    		root /home/FastDFS/fdfs_storage/data;
    		ngx_FastDFS_module;
    	}
    }
    

      

  • 相关阅读:
    “国产化替代”加速!这些软件要硬刚国外巨头
    企业研发流程演进之路
    胜任力模型
    金字塔原理
    扒一扒数据中台的皇帝外衣(转)
    大数据平台构建实战
    浏览器的底层响应原理
    分库分表方案
    spring boot:用spring security加强druid的安全(druid 1.1.22 / spring boot 2.3.3)
    spring boot:用cookie保存i18n信息避免每次请求时传递参数(spring boot 2.3.3)
  • 原文地址:https://www.cnblogs.com/yanxiaoge/p/11853758.html
Copyright © 2020-2023  润新知