Linux是有文件句柄限制的,而且Linux默认不是很高,一般都是1024,生产服务器用其实很容易就达到这个数量
系统总限制是在这里,/proc/sys/fs/file-max.可以通过cat查看目前的值,修改/etc/sysctl.conf 中也可以控制.
/proc/sys/fs/file-nr,可以看到整个系统目前使用的文件句柄数量linux 中数据的含义 /proc/sys/fs/file-nr
[root@localhost logs]# cat /proc/sys/fs/file-nr
2112 0 2100000已分配文件句柄的数目 已使用文件句柄的数目 文件句柄的最大数目
在Linux下面部署应用的时候,有时候会遇上Socket/File: Can’t open so many files的问题
在使用linux做为关键应用的过程中,特别是大压力负载的时候,经常会遇到一些诸如“too many open files”,“系统默认最大线程数是多少?如何调整?”等问题。此时,我们就必须使用ulimit或proc去调整系统的某些参数。
查找文件句柄问题的时候,还有一个很实用的程序lsof.可以很方便看到某个进程开了那些句柄.也可以看到某个文件/目录被什么进程占用了.
lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more
修改完重新登录就可以见到, 如Centos,使用 ulimit -a 查看确认
- ulimit 命令
1.只对当前tty(终端有效),若要每次都生效的话,可以把ulimit参数放到对应用户的.bash_profile里面;
2.ulimit命令本身就有分软硬设置,加-H就是硬,加-S就是软;
3.默认显示的是软限制,如果运行ulimit命令修改的时候没有加上的话,就是两个参数一起改变.生效;
+ 命令参数
-H 设置硬件资源限制.
-S 设置软件资源限制.
-a 显示当前所有的资源限制.
-c size:设置core文件的最大值.单位:blocks
-d size:设置数据段的最大值.单位:kbytes
-f size:设置创建文件的最大值.单位:blocks
-l size:设置在内存中锁定进程的最大值.单位:kbytes
-m size:设置可以使用的常驻内存的最大值.单位:kbytes
-n size:设置内核可以同时打开的文件描述符的最大值.单位:n
-p size:设置管道缓冲区的最大值.单位:kbytes
-s size:设置堆栈的最大值.单位:kbytes
-t size:设置CPU使用时间的最大上限.单位:seconds
-v size:设置虚拟内存的最大值.单位:kbytes
unlimited 是一个特殊值,用于表示不限制
+ 设置
- 针对所有用户的设置,在/etc/security/limits.conf文件,其是可以对系统用户、组进行cpu、文件数等限制的,通过它可以针对某个用户或全部进行限制。但不能超越系统的限制;
(*表示所有用户、soft表示可以超出,但只是警告;hard表示绝对不能超出,unlimited用于表示不限制)
- 如果想对所有用户设置,也可以放在/etc/profile文件里面,下面是该文件里面的默认参数:
ulimit -S -c 0 > /dev/null 2>&1
-
/proc 目录
-
/proc 目录包括很多系统当前状态的参数
/proc/meminfo
/proc/cpuinfo
/proc/sys/fs/file-max #系统总限制
/proc/sys/fs/file-nr #整个系统目前使用的文件句柄数量 -
proc目录中的值可以进行动态的设置,若希望永久生效,可以修改/etc/sysctl.conf文件,并使用下面的命令确认: #sysctl -p
-
-
/etc/security/limit.conf
注意:要使 limits.conf 文件配置生效,必须要确保 pam_limits.so 文件被加入到启动文件中。查看 /etc/pam.d/login 文件中有:session required /lib/security/pam_limits.so
+ 描述
limits.conf文件实际是Linux PAM(插入式认证模块,Pluggable Authentication Modules)中 pam_limits.so 的配置文件,突破系统的默认限制,对系统访问资源有一定保护作用。 limits.conf 和sysctl.conf区别在于limits.conf是针对用户,而sysctl.conf是针对整个系统参数配置。
+ 工作原理
limits.conf是 pam_limits.so的 配置文件,然后/etc/pam.d/下的应用程序调用pam_***.so模块。譬如说,当用户 访问服务器,服务程序将请求发送到PAM模块,PAM模块根据服务名称在/etc/pam.d目 录下选择一个对应的服务文件,然后根据服务文件的内容选择具体的PAM模块进行处理
example:限制admin用户登录到sshd的服务不能超 过2个
在/etc/pam.d/sshd中添加:session required pam_limits.so
echo "session required pam_limits.so" >> /etc/pam.d/sshd
在/etc/security/limits.conf中添加:admin - maxlogins 2
注意:
查看应用程序能否被PAM支持,用ldd
同理limits.conf要使用就必须保证/etc/pam.d/login 中有下面:session required pam_limits.so
+ 文件格式 username|@groupname type resource limit
1. username|@groupname
设置需要被限制的用户名,组名前面加@和用户名区别。也可用通配符*来做所有用户的限制
2. type soft、hard、-
soft 指的是当前系统生效的设置值。hard 表明系统中所能设定的最大值。soft 的限制不能比har 限制高。用 - 就表明同时设置了soft 和hard的值
3. resource: 表示要限制的资源
* core - 限制内核文件的大小
core file : 当一个程序崩溃时,在进程当前工作目录的core文件中复制了该进程的存储图像。core文件仅仅是一个内存映象(同时加上调试信息),主要是用来调试的。core文件是个二进制文件,需要用相应的工具来分析程序崩溃时的内存映像,系统默认core文件的大小为0,所以没有被创建。可以用ulimit命令查看和修改core文件的大小。
#ulimit -c 0 #ulimit -c 1000 #ulimit -c unlimited
注意:如果想让修改永久生效,则需要修改配置文件,如 .bash_profile、/etc/profile或/etc/security/limits.conf
* date - 最大数据大小
* fsize - 最大文件大小
* memlock - 最大锁定内存地址空间
* nofile - 打开文件的最大数目
对于需要做许多套接字连接并使它们处于打开状态的应用程序而言,最好通过使用ulimit -n,或者通过设置nofile参数,为用户把文件描述符的数量设置得比默认值高一些
* rss - 最大持久设置大小
* stack - 最大栈大小
* cpu - 以分钟为单位的最多 CPU 时间
* noproc - 进程的最大数目
* as - 地址空间限制
* maxlogins - 此用户允许登录的最大数目
4. 设置
* 暂时生效,ulimit 命令
* 永久生效,通过将一个相应的 ulimit 语句添加到由登录 shell 读取的文件之一(例如 ~/.profile),即特定于 shell 的用户资源文件;或者通过编辑 /etc/security/limits.conf