• CentOS7搭建FastDFS文件管理服务器


    一、FastDFS介绍

    FastDFS开源地址:https://github.com/happyfish100

    FastDFS 是一个开源的高性能分布式文件系统(DFS)。 它的主要功能包括:文件存储,文件同步和文件访问,以及高容量和负载平衡。主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。

    FastDFS 系统有三个角色:跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。

      Tracker Server:跟踪服务器,主要做调度工作,起到均衡的作用;负责管理所有的 storage server和 group,每个 storage 在启动后会连接 Tracker,告知自己所属 group 等信息,并保持周期性心跳。

      Storage Server:存储服务器,主要提供容量和备份服务;以 group 为单位,每个 group 内可以有多台 storage server,数据互为备份。

      Client:客户端,上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。

    部署架构

     

    二、安装部署FastDFS

    1.安装FastDFS依赖gcc环境

    yum -y install gcc-c++

    2.FastDFS依赖libevent库,需要安装:

    yum -y install libevent

    3.libfastcommon是FastDFS官方提供的,libfastcommon包含了FastDFS运行所需要的一些基础库,需要安装:

    cd /usr/local/src     #切换到要下载文件的路径
    wget -O libfastcommon-1.0.39.tar.gz https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.39         #下载libfastcommon
    tar -zxvf libfastcommon-1.0.39.tar.gz     #解压
    cd libfastcommon-1.0.39/
    ./make.sh                 #编译
    ./make.sh install        #安装

    libfastcommon.so 安装到了/usr/lib64/libfastcommon.so,但是FastDFS主程序设置的lib目录是/usr/local/lib,所以需要创建软链接

    ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
    ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
    ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
    ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so 

    4.安装FastDFS

    cd /usr/local/src     #切换到要下载文件的路径
    wget -O fastdfs-5.11.tar.gz https://codeload.github.com/happyfish100/fastdfs/tar.gz/V5.11         #下载FastDFS
    tar -zxvf fastdfs-5.11.tar.gz     #解压
    cd fastdfs-5.11/
    ./make.sh                 #编译
    ./make.sh install        #安装

     服务脚本:

    /etc/init.d/fdfs_storaged
    /etc/init.d/fdfs_tracker

    配置文件(这三个是作者给的样例配置文件):

    /etc/fdfs/client.conf.sample
    /etc/fdfs/storage.conf.sample
    /etc/fdfs/tracker.conf.sample

    命令工具在 /usr/bin/ 目录下:

    fdfs_appender_test
    fdfs_appender_test1
    fdfs_append_file
    fdfs_crc32
    fdfs_delete_file
    fdfs_download_file
    fdfs_file_info
    fdfs_monitor
    fdfs_storaged
    fdfs_test
    fdfs_test1
    fdfs_trackerd
    fdfs_upload_appender
    fdfs_upload_file
    stop.sh
    restart.sh 

    FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin, 但实际命令安装在 /usr/bin/ 下。
    建立 /usr/bin 到 /usr/local/bin 的软链接(这一步关系到后面某些命令的执行)

    ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
    ln -s /usr/bin/fdfs_storaged   /usr/local/bin
    ln -s /usr/bin/stop.sh         /usr/local/bin
    ln -s /usr/bin/restart.sh      /usr/local/bin

    三、配置FastDFS跟踪服务器(Tracker Server)

    在Tracker服务器上进入 /etc/fdfs,复制 FastDFS 跟踪器样例配置文件 tracker.conf.sample,并重命名为 tracker.conf

    cd /etc/fdfs
    cp tracker.conf.sample tracker.conf

    编辑tracker.conf,根据需要修改配置

    # 配置文件是否不生效,false 为生效
    disabled=false
    
    # 提供服务的端口
    port=22122
    
    # Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)
    base_path=/fastdfs/tracker
    
    # HTTP 服务端口
    http.server_port=1080

    创建tracker基础数据目录,即base_path对应的目录

    mkdir -p /fastdfs/tracker

    启动Tracker

    初次成功启动,会在 /fdfsdfs/tracker/ (配置的base_path)下创建 data、logs 两个目录

    可以用这种方式启动
    /etc/init.d/fdfs_trackerd start
    
    也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式
    systemctl start fdfs_trackerd

    查看 FastDFS Tracker 是否已成功启动

    netstat -unltp|grep fdfs
    systemctl status fdfs_trackerd

     

    根据需要可设置fdfs_trackerd服务开机自启动

    systemctl enable fdfs_trackerd

    四、配置FastDFS存储服务器(Storage Server)

    在Storage服务器上进入 /etc/fdfs 目录,复制 FastDFS 存储器样例配置文件 storage.conf.sample,并重命名为 storage.conf

    cd /etc/fdfs
    cp storage.conf.sample storage.conf

    编辑storage.conf,根据需要修改配置

    # 配置文件是否不生效,false 为生效
    disabled=false 
    
    # 指定此 storage server 所在 组(卷)
    group_name=group1
    
    # storage server 服务端口
    port=23000
    
    # 心跳间隔时间,单位为秒 (这里是指主动向 tracker server 发送心跳)
    heart_beat_interval=30
    
    # Storage 数据和日志目录地址(根目录必须存在,子目录会自动生成)
    base_path=/fastdfs/storage
    
    # 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目,通常只配一个目录。
    store_path_count=1
    
    
    # 逐一配置 store_path_count 个路径,索引号基于 0。
    # 如果不配置 store_path0,那它就和 base_path 对应的路径一样。
    store_path0=/fastdfs/file
    
    # FastDFS 存储文件时,采用了两级目录。这里配置存放文件的目录个数。 
    # 如果本参数只为 N(如: 256),那么 storage server 在初次运行时,会在 store_path 下自动创建 N * N 个存放文件的子目录。
    subdir_count_per_path=256
    
    # tracker_server 的列表 ,会主动连接 tracker_server
    # 有多个 tracker server 时,每个 tracker server 写一行
    tracker_server=10.20.90.61:22122
    
    # 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
    sync_start_time=00:00
    sync_end_time=23:59
    # 访问端口
    http.server_port=1081

    创建Storage基础数据目录,对应base_path目录

    mkdir -p /fastdfs/storage
    
    # 这是配置的store_path0路径
    mkdir -p /fastdfs/file

    启动Storage前确保Tracker是启动的。初次启动成功,会在/fastdfs/storage 目录下创建 data、 logs 两个目录

    可以用这种方式启动
    # /etc/init.d/fdfs_storaged start
    
    也可以用这种方式启动,前提是上面创建了软链接,后面都用这种方式
    # systemctl start fdfs_storaged

    查看 Storage 是否成功启动

    netstat -unltp|grep fdfs_storaged
    systemctl status fdfs_storaged

     

     

     查看Storage和Tracker是否在通信:

    /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

     根据需要可以设置fdfs_storaged开机自启动

    systemctl enable fdfs_storaged

     Storage 启动成功后,在base_path 下创建了data、logs目录,记录着 Storage Server 的信息。

    五、文件上传测试

    修改 Tracker 服务器中的客户端配置文件 

    cd /etc/fdfs
    cp client.conf.sample client.conf

    编辑client.conf,根据需要修改配置

    # Client 的数据和日志目录
    base_path=/fastdfs/client
    
    # Tracker端口
    tracker_server=10.20.90.61:22122

    在linux内部执行如下命令上传123.jpg图片

    /usr/bin/fdfs_upload_file /etc/fdfs/client.conf 123.jpg

     

     文件上传成功!

    六、Nginx安装

    文件上传成功了,但我们无法下载。因此需要安装Nginx作为服务器以支持Http方式访问文件。同时,后面安装FastDFS的Nginx模块也需要Nginx环境。

    Nginx只需要安装到Storage Server所在的服务器即可,用于访问文件。

    目前工作应用中暂不需要,先挖个坑,以后再慢慢补(不知道什么时候会填。。。)

  • 相关阅读:
    CSS中z-index的层级树概念
    随记
    PHP 随笔
    linux 相关
    Nginx 虚拟主机 VirtualHost 配置
    PHP 杂记
    Composer 资料
    PHP Yii架构学习
    java 日志技术汇总(log4j , Commons-logging,.....)
    Java 随笔
  • 原文地址:https://www.cnblogs.com/werr370/p/15433682.html
Copyright © 2020-2023  润新知