在极限读场景下,对于客户端的网络监控如图:
在极限写场景下,对于NAS1网关的网络监控如图:
在极限写场景下,对于NAS2网关的网络监控如图:
在极限写场景下,对于客户端的网络监控如图:
在极限混合读写场景下,对于NAS1网关的网络监控如图:
在极限混合读写场景下,对于NAS2网关的网络监控如图:
在极限混合读写场景下,对于客户端的网络监控如图:
综合以上的测试结果,可以总结出下表:
Linux Samba NAS网关测试数据 |
|||||||||
单NAS网关 |
100Mb/s负载性能记录 |
NAS网关资源占用 |
|||||||
稳定读 |
稳定写 |
稳定读 |
稳定写 |
||||||
CPU空闲 |
内存空闲 |
网卡占用 |
CPU空闲 |
内存空闲 |
网卡占用 |
||||
1*3+3*2 |
4*3 |
96.70% |
10G |
127MB/S |
85.70% |
10G |
180MB/S |
||
50Mb/s负载性能记录 |
NAS网关资源占用 |
||||||||
稳定读 |
稳定写 |
稳定读 |
稳定写 |
||||||
CPU空闲 |
内存空闲 |
网卡占用 |
CPU空闲 |
内存空闲 |
网卡占用 |
||||
3*3+1*4 |
4*5 |
96.70% |
10G |
104MB/S |
83.40% |
10G |
160MB/S |
||
极限性能记录 |
NAS网关资源占用 |
||||||||
极限读 |
极限写 |
极限读 |
极限写 |
||||||
CPU空闲 |
内存空闲 |
网卡占用 |
CPU空闲 |
内存空闲 |
网卡占用 |
||||
4*1 |
4*1 |
94.50% |
10G |
195MB/S |
79.60% |
10G |
201MB/S |
||
极限混合读写 |
极限混合读写 |
||||||||
CPU空闲 |
内存空闲 |
网卡占用 |
|||||||
7读3写 |
86.40% |
11G |
134MB/S |
||||||
双NAS网关 |
100Mb/s负载性能记录 |
NAS网关资源占用 |
|||||||
稳定读 |
稳定写 |
稳定读 |
稳定写 |
||||||
CPU空闲 |
内存空闲 |
网卡占用 |
CPU空闲 |
内存空闲 |
网卡占用 |
||||
NAS1 |
4*1 |
4*2 |
88.00% |
10G |
54MB/S |
88.30% |
10G |
113MB/S |
|
NAS2 |
2*1 |
4*2 |
87.10% |
4.5G |
32MB/S |
87.80% |
4.5G |
108MB/S |
|
|
50Mb/s负载性能记录 |
NAS网关资源占用 |
|||||||
稳定读 |
稳定写 |
稳定读 |
稳定写 |
||||||
CPU空闲 |
内存空闲 |
网卡占用 |
CPU空闲 |
内存空闲 |
网卡占用 |
||||
NAS1 |
4*2 |
4*4 |
98.10% |
10G |
57MB/S |
88.30% |
10G |
109MB/S |
|
NAS2 |
4*2 |
4*4 |
98.50% |
4.5G |
64MB/S |
85.20% |
4.5G |
111MB/S |
|
|
极限性能记录 |
NAS网关资源占用 |
|||||||
极限读 |
极限写 |
极限读 |
极限写 |
||||||
CPU空闲 |
内存空闲 |
网卡占用 |
CPU空闲 |
内存空闲 |
网卡占用 |
||||
NAS1 |
4*1 |
4*1 |
97.80% |
4.5G |
73MB/S |
84.60% |
4.5G |
161MB/S |
|
NAS2 |
4*1 |
4*1 |
97.60% |
10G |
92MB/S |
90.80% |
10G |
136MB/S |
|
|
极限混合读写 |
极限混合读写 |
|||||||
CPU空闲 |
内存空闲 |
网卡占用 |
|||||||
NAS1 |
7读3写 |
96.70% |
10G |
74MB/S |
|||||
NAS2 |
7读3写 |
93.20% |
4.5G |
52MB/S |
附录1:操作系统调优
对于操作系统,为了保证自身的运行稳定性和安全性,其相关的网络默认配置和系统内核默认配置都不足以达到Samba使用的最佳性能,以下为调优的参数内容:
- /proc/sys/net/core/rmem_default 定义默认的接收窗口大小;
- /proc/sys/net/core/rmem_max 定义接收窗口的最大大小;
- /proc/sys/net/core/wmem_default 定义默认的发送窗口大小;
- /proc/sys/net/core/wmem_max 定义发送窗口的最大大小;
- /proc/sys/net/ipv4/tcp_window_scaling 启用 RFC 1323 定义的 window scaling;要支持超过 64KB 的窗口,必须启用该值。
- /proc/sys/net/ipv4/tcp_sack 启用有选择的应答(Selective Acknowledgment),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段);(对于广域网通信来说)这个选项应该启用,但是这会增加对 CPU 的占用。
- /proc/sys/net/ipv4/tcp_fack 启用转发应答(Forward Acknowledgment),这可以进行有选择应答(SACK)从而减少拥塞情况的发生;这个选项也应该启用。
- /proc/sys/net/ipv4/tcp_timestamps 以一种比重发超时更精确的方法来启用对 RTT 的计算;为了实现更好的性能应该启用这个选项。
- /proc/sys/net/ipv4/tcp_mem 确定 TCP 栈应该如何反映内存使用;
- /proc/sys/net/ipv4/tcp_wmem 为自动调优定义每个 socket 使用的内存;
- /proc/sys/net/ipv4/tcp_rmem 与 tcp_wmem 类似,不过它表示的是为自动调优所使用的接收缓冲区的值。
- /proc/sys/net/ipv4/tcp_low_latency 允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况;这个选项应该禁用。
- /proc/sys/net/ipv4/tcp_westwood 启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于 WAN 通信来说应该启用这个选项。
- /proc/sys/net/ipv4/tcp_bic 为快速长距离网络启用 Binary Increase Congestion;这样可以更好地利用以 GB 速度进行操作的链接;对于 WAN 通信应该启用这个选项。
根据上述描述,本文中采用的网络参数和系统内核参数如下:
kernel.shmall = 2097152
kernel.shmmax = 12884901888
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
fs.file-max = 65536
net.ipv4.ip_local_port_range = 1024 65000
net.core.rmem_default = 262144
net.core.rmem_max = 262144
net.core.wmem_default = 262144
net.core.wmem_max = 262144
附录2:Samba调优
Samba服务具有很多有关于传输性能的隐藏参数,参考官方手册,得到以下几个比较关键的参数:
- follow symlinks 此参数在Windows平台不支持这种符号连接,我也不需要在共享里有这个东西,所以关闭
- wide links,关闭此参数
- oplocks和locking这两个决定samba是否对文件进行lock测试,如果一个用户以write方式打开了这个文件,那么其它用户就不能再以write打开,这两个东西很费内存,也同样会降低samba的性能。 另外,我有很多个share,其中只有两个是所有人都可以写的,其它的都只有一个用户能写,对于后者,不需要打开这个,因为共享设计就是别人无法写。 那么就在global里面把这几个和lock有关的参数关掉,在那两个所有人可以写的share再打开。
# Some otherperformace tuning options
# disable links and symbol links
follow symlinks = no
wide links = no
strict locking = no
fake oplocks = yes
oplocks = no
附录3:SNFS调优
使用文件系统自带的mount命令进行挂载时。文件系统占用操作系统的内存使用空间有限,由于此次测试的服务器配置较高,所以将内存使用调高。使用如下命令mount
mount.cvfs -t cvfs -o cachebufsize=524288snfs1 /stornext/snfs1