新启发：Relu与dropout的联系

Relu的正向传播会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。个人感觉这非常像dropout。