Relu激活函数的死神经元问题

https://www.zhihu.com/question/67151971/answer/434079498 

总结：relu的死神经元问题主要是由于学习率设置得过大导致的一种普遍现象。