Dropout函数

什么是dropout？

在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。深度学习中在代码中经常碰到的dropout函数是指我们在训练神经网络的过程中，随机丢弃一部分神经网络单元，只是暂时移除训练过程。即在前向传播的时候，让某个神经元的激活值以一定的概率p停止工作，这样可以使模型泛化性更强，因为它不会太依赖某些局部的特征

相当于以一定的概率减少训练过程中神经网络的数量，从而也使得训练的负荷减少，提高训练的速度

dropout的作用

有效的防止过拟合，大型的神经网络在小的数据集上训练时会导致过拟合

 

详细解释参考：http://pan.baidu.com/s/1c0Ri2Py

                         https://www.cnblogs.com/liaohuiqiang/p/9194699.html

 

转载https://www.cnblogs.com/NLP4ever/p/11047368.html