有应用报出这样的异常“java.lang.OutOfMemoryError: unable to create new native thread”。甚至机器上执行shell命令也会报”-bash: fork: Resource temporarily unavailable”异常。机器上的其他应用如hadoop也会受影响：
一看以为内存不够导致无法创建新的线程，但是观察机器上的内存还有空闲，猜测是哪个地方对线程创建有限制。
首先需要排除操作系统对线程创建数的限制，参考：《JVM中可生成的最大Thread数量》一文，设置操作系统可以支持创建10万个线程：
当前测试环境为：
测试程序见本文最后面。测试结果：突破了网上所说的32000个线程数，成功创建了 10万个线程。（由于/proc/sys/kernel/pid_max默认为32768，所以网上很多测试程序测试JVM只能创建32000个线程。）
创建9W多个线程后，进程占用内存：VIRT=40.5g RES=4.7g，用free -g查看系统还有9G的空闲(free)内存。
JVM最多能启动的线程数参照公式：
- MaxProcessMemory : 进程的最大寻址空间
- JVMMemory : JVM内存
- ReservedOsMemory : 保留的操作系统内存，如Native heap，JNI之类，一般100多M
- ThreadStackSize : 线程栈的大小，jvm启动时由Xss指定
MaxProcessMemory：如32位的linux默认每个进程最多申请3G的地址空间，64位的操作系统可以支持到46位（64TB）的物理地址空间和47位（128T）的进程虚拟地址空间（linux 64位CPU内存限制）。
JVM内存：由Heap区和Perm区组成。通过-Xms和-Xmx可以指定heap区大小，通过-XX:PermSize和-XX:MaxPermSize指定perm区的大小(默认从32MB 到64MB，和JVM版本有关)。
线程栈ThreadStackSize：
Java程序中，每个线程都有自己的Stack Space。这个Stack Space的空间是独立分配的，与-Xmx和-Xms指定的堆大小无关。Stack Space用来做方法的递归调用时压入Stack Frame。所以当递归调用太深的时候，就有可能耗尽Stack Space，爆出
StackOverflow的错误。对于32位JVM，缺省值为256KB，对于64位JVM，缺省值为512KB。最大值根据平台和特定机器配置的不同而不同。如果超过最大值，那么将报告java/lang/OutOfMemoryError消息。
可见，减少Xss指定的线程栈大小能够启动更多的线程，但是线程总数也受到系统空闲内存和操作系统的限制。
总结下影响Java线程数量的因素：
- Java虚拟机本身：-Xms，-Xmx，-Xss；
- 系统限制：
/proc/sys/kernel/pid_max，
/proc/sys/kernel/thread-max，
max_user_process（ulimit -u），
/proc/sys/vm/max_map_count。
ps: 最后发现是这台机器上有个应用代码问题创建了过多的线程，达到系统限制，而影响了YARN和其他应用。一般来说，单机线程数过多可以考虑使用线程池或者更多的服务器。
解决OutOfMemoryError: unable to create new native thread问题
可能原因
1. 系统内存耗尽，无法为新线程分配内存
2. 创建线程数超过了操作系统的限制
解决方案
1. 排查应用是否创建了过多的线程
通过jstack确定应用创建了多少线程？超量创建的线程的堆栈信息是怎样的？谁创建了这些线程？一旦明确了这些问题，便很容易解决。
2. 调整操作系统线程数阈值
操作系统会限制进程允许创建的线程数，使用ulimit -u命令查看限制。某些服务器上此阈值设置的过小，比如1024。一旦应用创建超过1024个线程，就会遇到java.lang.OutOfMemoryError: unable to create new native thread问题。如果是这种情况，可以调大操作系统线程数阈值。
3. 增加机器内存
如果上述两项未能排除问题，可能是正常增长的业务确实需要更多内存来创建更多线程。如果是这种情况，增加机器内存。
4. 减小堆内存
一个老司机也经常忽略的非常重要的知识点：线程不在堆内存上创建，线程在堆内存之外的内存上创建。所以如果分配了堆内存之后只剩下很少的可用内存，依然可能遇到java.lang.OutOfMemoryError: unable to create new native thread。考虑如下场景：系统总内存6G，堆内存分配了5G，永久代512M。在这种情况下，JVM占用了5.5G内存，系统进程、其他用户进程和线程将共用剩下的0.5G内存，很有可能没有足够的可用内存创建新的线程。如果是这种情况，考虑减小堆内存。
5. 减少进程数
这和减小堆内存原理相似。考虑如下场景：系统总内存32G，java进程数5个，每个进程的堆内存6G。在这种情况下，java进程总共占用30G内存，仅剩下2G内存用于系统进程、其他用户进程和线程，很有可能没有足够的可用内存创建新的线程。如果是这种情况，考虑减少每台机器上的进程数。
6. 减小线程栈大小
线程会占用内存，如果每个线程都占用更多内存，整体上将消耗更多的内存。每个线程默认占用内存大小取决于JVM实现。可以利用-Xss参数限制线程内存大小，降低总内存消耗。例如，JVM默认每个线程占用1M内存，应用有500个线程，那么将消耗500M内存空间。如果实际上256K内存足够线程正常运行，配置-Xss256k，那么500个线程将只需要消耗125M内存。（注意，如果-Xss设置的过低，将会产生java.lang.StackOverflowError错误）