Centos7 单节点安装 FastDFS + FastDHT服务

Centos7 单节点安装 FastDFS + FastDHT服务

1、安装gcc（编译时需要）

FastDFS是C语言开发，安装FastDFS需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gcc

 yum install -y gcc gcc-c++

2、安装libevent（运行时需求）

若安装了桌面图形界面，就不需要安装；FastDFS依赖libevent库；

 yum -y install libevent libevent-devel

3、安装libfastcommon 并优化tcp

 　libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS运行所需要的一些基础库。

（1）下载

git clone https://github.com/happyfish100/libfastcommon.git

（2）切换到目录

cd /usr/local/libfastcommon

(3)编译安装

./make.sh           #编译

./make.sh install   #安装

安装后的截图：

 

（4）优化一下内核

vim /etc/sysctl.conf

net.ipv4.tcp_syncookies  = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle =  1

net.ipv4.tcp_fin_timeout = 30

sysctl -p

 4、安装FastDFS

（1）上传 FastDFS_v5.08.tar.gz 到 centos 上；

 （2）将 FastDFS_v5.08.tar.gz 解压至/usr/local/下

 tar xzvf FastDFS_v5.08.tar.gz -C /usr/local/

 （3）切换目录到： /usr/local/FastDFS/ 下，编译和安装；

 cd /usr/local/FastDFS/

./make.sh && ./make.sh install  #编译之后接着进行安装

安装后的截图：

 

（4）安装成功将安装目录下的conf下的文件拷贝到/etc/fdfs/下；

cp /usr/local/FastDFS/conf/* /etc/fdfs/

 

5、配置和启动tracker

（1）切换目录到： /etc/fdfs/ 目录下；

 （2）拷贝一份新的tracker配置文件

 cp tracker.conf.sample tracker.conf

 （3）修改tracker.conf 配置文件 

vim tracker.conf

base_path=/fastdfs/fdfs_tracker/

port=22122  #侦听端口

http.server_port=80  #配置http端口

（4）创建 /fastdfs/fdfs_tracker/ 目录

 mkdir -p /fastdfs/fdfs_tracker/

 （5）启动tracker，运行如下命令：

 /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

 注意：在 /fastdfs/fdfs_tracker/ 目录下生成两个目录， 一个是数据，一个是日志；

6、配置和启动storage

 （1）切换目录到： /etc/fdfs/ 目录下；

 （2）拷贝一份新的storage配置文件

 cp storage.conf.sample storage.conf

 （3）修改storage.conf ;  

 vim storage.conf

group_name=group1

base_path=/fastdfs/fdfs_storage 

store_path_count=1   # 1个存储目录

#store存放文件的位置(store_path)

store_path0=/fastdfs/fdfs_storage/fdfs_storage_0   #一个目录对应一块硬盘

#如果有多个挂载磁盘则定义多个store_path，如下

#store_path1=/fastdfs/fdfs_storage/fdfs_storage_1

#store_path2=/fastdfs/fdfs_storage/fdfs_storage_2

#配置tracker服务器:IP

tracker_server=192.168.1.245:22122

#如果有多个则配置多个tracker

#tracker_server=192.168.101.4:22122

#侦听端口

port=23000

#配置http端口

http.server_port=8888

  （4）创建 /fastdfs/fdfs_storage/fdfs_storage_0目录

  mkdir -p /fastdfs/fdfs_storage/fdfs_storage_0

 （5）启动storage， 运行命令如下：

 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

ls /fastdfs/fdfs_storage/fdfs_storage_0

 显示目录如下：

 

7、使用FastDFS自带工具测试

（1）切换目录到 /etc/fdfs/ 目录下；

 （2）拷贝一份新的client配置文件

 cp client.conf.sample client.conf

 （3）修改client.conf ; 

 vim client.conf，

base_path=/fastdfs/fdfs_client

http.tracker_server_port=80

tracker_server=192.168.1.245:22122

#与tracker配置的http.server_port端口一致，保存路径生成的URL就是80端口访问

#注意：若tracker有多个，可以配置多个，如下:

#tracker_server=......

#tracker_server=......

（4）拷贝一张图片 fdfs_test.png 到Centos服务器上的 /tmp 目录下；

 （5）进行测试，运行如下：（运行测试程序，读取/etc/fdfs/client.conf 文件，上传/tmp目录下的fdfs_test.png文件）

 /usr/bin/fdfs_test /etc/fdfs/client.conf upload /tmp/fdfs_test.png

 

以上图中的文件地址：

http://192.168.1.245/group1/M00/00/00/wKgB9VuwhmeAfNulAACDdns27_Y436_big.png

对应storage服务器上的

/fastdfs/fdfs_storage/fdfs_storage_0/data/00/00/wKgB9VuwhmeAfNulAACDdns27_Y436_big.png文件；

 注：由于现在还没有和nginx整合无法使用http下载。

 （6）防火墙开启相应的端口

firewall-cmd --zone=public --add-port=80/tcp --permanent

firewall-cmd --zone=public --add-port=8080/tcp --permanent

firewall-cmd --zone=public --add-port=22122/tcp –permanent

firewall-cmd --zone=public --add-port=23000/tcp –permanent

firewall-cmd --zone=public --add-port={80/tcp,8080/tcp,22122/tcp,23000/tcp} --permanent  # 一样的

firewall-cmd --reload

firewall-cmd --list-all

 8、FastDFS 和nginx整合

  8.1 在tracker上安装 nginx

  在每个tracker上安装nginx，的主要目的是做负载均衡及实现高可用。如果只有一台tracker可以不配置nginx。

  一个tracker对应多个storage，通过nginx对storage负载均衡；

  8.2 在storage 上安装nginx

  （1）上传 fastdfs-nginx-module.tar.gz 到Centos服务器上；

 （2）解压 fastdfs-nginx-module.tar.gz 到 /usr/local目录下；

 tar -xzf fastdfs-nginx-module.tar.gz -C /usr/local/

 （3）切换目录到： /usr/local/fastdfs-nginx-module/src/ 目录下

 cd /usr/local/fastdfs-nginx-module/src/

 （4）修改config文件，将文件中的所有 /usr/local/ 路径改为 /usr/

默认就都是/usr路径了，所以此处不用更改。

 （5）将fastdfs-nginx-module/src下的mod_fastdfs.conf拷贝至/etc/fdfs/下

 cp mod_fastdfs.conf /etc/fdfs/

 （6）并修改 /etc/fdfs/mod_fastdfs.conf 的内容；

 vi /etc/fdfs/mod_fastdfs.conf

base_path=/fastdfs/fdfs_nginx

tracker_server=192.168.1.245:22122

#tracker_server=192.168.172.20:22122 #(多个tracker配置多行)

#tracker_server=tracker:22122

url_have_group_name=true        #url中包含group名称

store_path_count=1

#指定文件存储路径（上面配置的store路径）

store_path0=/fastdfs/fdfs_storage/fdfs_storage_0

（7）将libfdfsclient.so拷贝至/usr/lib下（默认就在，不用修改）

 cp /usr/lib64/libfdfsclient.so /usr/lib/

 （8）创建目录

 mkdir -p /var/temp/nginx/client

mkdir -p /fastdfs/fdfs_nginx

8.3 Nginx的安装

 （1）上传 nginx-1.10.2.tar.gz 到Centos服务器上；

 （2）解压 nginx-1.10.2.tar.gz 到 /usr/local目录下；

 tar -zxvf nginx-1.10.2.tar.gz -C /usr/local/src

 （3）安装nginx的依赖库

 yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel

 （4）进入nginx解压的目录下：

 cd /usr/local/src/nginx-1.10.2/

 （5）加入模块命令配置

./configure

--prefix=/usr/local/nginx

--pid-path=/var/run/nginx/nginx.pid

--lock-path=/var/lock/nginx.lock

--error-log-path=/var/log/nginx/error.log

--http-log-path=/var/log/nginx/access.log

--with-http_gzip_static_module

--http-client-body-temp-path=/var/temp/nginx/client

--http-proxy-temp-path=/var/temp/nginx/proxy

--http-fastcgi-temp-path=/var/temp/nginx/fastcgi

--http-uwsgi-temp-path=/var/temp/nginx/uwsgi

--http-scgi-temp-path=/var/temp/nginx/scgi

--add-module=/usr/local/fastdfs-nginx-module/src

 

注意：上边将临时文件目录指定为/var/temp/nginx，需要在/var下创建temp及nginx目录；

 （6）编译并安装

 make && make install

 安装成功后查看生成的目录，如下所示：

ls /usr/local/nginx/

 

删除解压包:

rm -rf /usr/local/src/nginx-1.10.2/

 （7）拷贝配置文件到 /etc/fdfs 下；

 cd /usr/local/FastDFS/conf

cp http.conf mime.types /etc/fdfs/

 （8）修改nginx配置文件

 mkdir -p /usr/local/nginx/logs # 创建logs目录

cd /usr/local/nginx/conf/

 vim nginx.conf

##-----------------------------------------

user  nobody;

worker_processes  2;

 

pid  /var/run/nginx/nginx.pid;

 

worker_rlimit_nofile 65535;

 

events {

    worker_connections  65535;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    log_format main  '$remote_addr - $remote_user [$time_local] "$request" '

               '$status $body_bytes_sent "$http_referer" '

               '"$http_user_agent" $http_x_forwarded_for';

 

    access_log  /var/log/nginx/access.log  main;

    error_log  /var/log/nginx/error.log  error;

 

    server_names_hash_bucket_size 128;

    client_header_buffer_size 32k;

    large_client_header_buffers 4 32k;

    client_max_body_size 8m;

 

    sendfile        on;

    tcp_nopush      on;

    tcp_nodelay     on;

    keepalive_timeout  65;

 

    fastcgi_connect_timeout 300;

    fastcgi_send_timeout 300;

    fastcgi_read_timeout 300;

    fastcgi_buffer_size 64k;

    fastcgi_buffers 4 64k;

    fastcgi_busy_buffers_size 128k;

    fastcgi_temp_file_write_size 128k;

 

    gzip on;

    gzip_min_length 1k;

    gzip_buffers 4 16k;

    gzip_http_version 1.0;

    gzip_comp_level 2;

    gzip_types text/plain application/x-javascript text/css application/xml;

    gzip_vary on;

 

    server {

        listen       80;

        server_name  192.168.1.245;

        location / {

            root   html;

            index  index.html index.htm;

        }

 

        location /group1/M00/ {

            root /fastdfs/fdfs_storage/fdfs_storage_0;

            ngx_fastdfs_module;

        }

 

        error_page   500 502 503 504  /50x.html;

        location = /50x.html {

            root   html;

        }

    }

}

 

 

##-----------------------------------------

 说明：

(a.) server_name指定本机ip；

(b.) location /group1/M00/：

group1为nginx 服务FastDFS的分组名称，M00是FastDFS自动生成编号，

对应store_path0=/home/fdfs_storage，如果FastDFS定义store_path1，这里就是M01

-----------------------------------------

（9）配置打开文件数大小

 vim /etc/security/limits.conf

 # End of file

*               soft    nofile          100000

*               hard    nofile          100000

*               soft    nproc           100000

*               hard    nproc           100000

ulimit -n 100000   #即时生效

  （10）nginx的启动

 cd /usr/local/nginx/sbin/

./nginx

 查询nginx进程

  

（11） fastdfs 和 nginx 服务的开机自启动：

 chmod +x /etc/rc.local

 #start fastdfs

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

/usr/local/nginx/sbin/nginx

exit 0

9、在浏览器中访问上传到fastDFS的图片

因为Centos系统有防火墙，需要先开放相应的端口，才可以在浏览器中访问；

 http://192.168.1.245/group1/M00/00/00/wKgB9VuwhmeAfNulAACDdns27_Y436_big.png

 

10、整合FastDHT服务

（1）简介：

由于FastDFS本身不能对重复上传的文件进行去重，而FastDHT可以做到去重。FastDHT是一个高性能的分布式哈希系统，它是基于键值对存储的，而且它需要依赖于Berkeley DB作为数据存储的媒介，同时需要依赖于libfastcommon。

（2）下载FastDHT_v1.23.tar.gz，下载地址：

https://code.google.com/archive/p/fastdht/downloads

FastDHT：FastDHT_v1.23.tar.gz

（3）下载Berkeley DB，下载地址：

http://www.oracle.com/technetwork/database/database-technologies/berkeleydb/downloads/index.html 

Berkeley DB：db-18.1.25.tar.gz

（4）安装Berkeley DB，将db-18.1.25.tar.gz上传到/usr/local/src目录下。

（5）解压安装包

tar -xzf db-18.1.25.tar.gz -C /usr/local/src/

（6）进入build_unix目录，必须是这个目录

cd /usr/local/src/db-18.1.25/build_unix

（7）执行命令（一定要是进入上面的目录后，使用相对路径执行命令）：

../dist/configure --prefix=/usr/local/db-18.1.25

make  &&  make install

rm -rf /usr/local/src/db-18.1.25/

ls /usr/local/db-18.1.25/

（8）DB安装完毕，会在/usr/local目录下生成目录db-18.1.25

 （9）安装FastDHT，将FastDHT_v1.23.tar.gz拷贝到/usr/local目录下，解压：

cd /usr/local

tar -xzf FastDHT_v1.23.tar.gz

mv FastDHT fastdht

 （10）进入fastdht目录，修改make.sh文件，修改：

CFLAGS=’-Wall -D_FILE_OFFSET_BITS=64 -D_GNU_SOURCE -I/usr/local/db-18.1.25/include/ -L/usr/local/db-18.1.25/lib/’

注：标红部分为要加入的内容。

（11）进入fastdht目录，编译安装：

编译前，一定要确认是否已经安装了libevent、libevent-devel 和libfastcommon依赖安装包。

yum -y install libevent libevent-devel

libfastcommon  # 编译安装

 cd /usr/local/fastdht/

./make.sh

./make.sh install

 注：依赖包，一般在安装FastDFS的时候就安装了，但libevent-devel这个依赖包在大部分博客文章中未提到需要安装，如果不安装这个包，编译百分百过不去，是个大坑。

 安装成功后fastdht被安装在/etc/fdht目录下，生成3个配置文件

cd /etc/fdht/  && ls

 

（12）配置FastDHT，创建fastdht目录：

mkdir -p /fastdfs/fastdht

（13）修改/etc/fdht/目录下的配置文件fdht_client.conf，依次修改如下内容：

vim /etc/fdht/fdht_client.conf

base_path=/fastdfs/fastdht  #（该目录必须是已经存在的）

keep_alive=1

#include /etc/fdht/fdht_servers.conf   ##（本行前有#表示打开，如果想关闭此选项，则应该为##开头）

（14）修改/etc/fdht/目录下的配置文件fdht_servers.conf，依次修改如下内容：

vim /etc/fdht/fdht_servers.conf

group_count = 1

group0 = 192.168.1.245:11411

（15）修改/etc/fdht/目录下的fdhtd.conf文件，依次修改如下内容：

vim /etc/fdht/fdhtd.conf

port=11411

bash_path= /fastdfs/fastdht #（该目录必须是已经存在的，前面已经创建过了）

#include /etc/fdht/fdht_servers.conf  ##(本行前有#表示打开，如果想关闭此选项，则应该为##开头)

（16）配置/etc/fdfs/目录下的storage.conf文件，依次修改如下内容：

vim /etc/fdfs/storage.conf

#是否检测上传文件已经存在。如果已经存在，则建立一个索引链接以节省磁盘空间

check_file_duplicate=1

#当上个参数设定为1时 ， 在FastDHT中的命名空间

key_namespace=FastDFS

#长连接配置选项，如果为0则为短连接 1为长连接

keep_alive=1

#此处特别需要注意配置，## 开头才是注释

#include /etc/fdht/fdht_servers.conf

（17）执行如下命令：

cp /usr/local/db-18.1.25/lib/libdb-18.so /usr/lib/    # 库文件

cp /usr/local/db-18.1.25/lib/libdb-18.so /usr/lib64/  # 库文件

#开放端口11411

firewall-cmd --zone=public --add-port=11411/tcp --permanent

firewall-cmd --reload

firewall-cmd --list-all

（18）启动FastDHT：

fdhtd /etc/fdht/fdhtd.conf restart

启动报错（未加载库文件）：

解决办法：

ldconfig  # 重新加载

ldd /usr/local/bin/fdhtd

#重新启动服务，成功。

fdhtd /etc/fdht/fdhtd.conf restart

(20)重启一下fdfs_trackerd和fdfs_storaged服务，便于后面的测试：

如果启动服务报错（这是个大坑，能查到的资料有限）：

 

解决办法：

因为是库文件受到损坏导致的，所以需要把库文件删除后再重新安装一遍。

rm -rf /usr/lib64/libfastcommon.so

rm -rf /usr/lib/libfastcommon.so

rm -rf /usr/local/lib/libfastcommon.so.1

rm -rf /usr/local/libfastcommon

然后重新解压安装一次libfastcommon依赖包，再重启服务就不报错了。

（21）测试多次上传同一个文件，通过客户端命令测试上传：

cd /tmp

echo “This is a test” > /tmp/fast-test

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /tmp/fast-test #这条命令才会去重

注：/usr/bin/fdfs_test /etc/fdfs/client.conf upload /tmp/fast-test #这条命令是不会去重的。

（22）上传成功后返回路径，查看storage存储对应存储路径，发现返回的为一个软链接，之后每次重复上传的fast-test都是返回一个指向第一次上传的文件的软链接。也就保证了文件只保存了一份。

需要说明的是，FastDFS不会返回原始文件的索引，返回的全部都是软链接，当所有的软链接都被删除的时候，原始文件也会从FastDFS中被删除。

 (23)  fastdfs 、fdhtd和 nginx 服务的开机自启动：

chmod +x /etc/rc.local

#start fastdfs

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

/usr/local/bin/fdhtd   /etc/fdht/fdhtd.conf   restart

/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

/usr/local/nginx/sbin/nginx

 
exit 0

至此，搭建配置、验证完毕。