正则化输入就是把我们输入的X中的值给归一到0附近
比如我的输入是一张图片,也就是h * w * 3 的矩阵
那么我可以把其中的每个数 x - 120再除以120,使得我们输入的值围绕在原地附近
这样做的原因是,我们的learning_rate是固定的,对于一切的w,b都是同一个learning_rate
如果不进行正则化输入,可能会出现此时我的w的rate为0.1比较好,而此时b的rate为0.001,影响训练效果
再说一个自己的理解
正则化输入,让我们的神经网络的初始值在原点附近
拿二元分类举例子,正则化输入能让神经网络的输出在0.5附近,然后再进行训练
如果不正则化的话,很可能神经网络输出比较偏向0 或 1,减慢训练效果
但是,有一次我写神经网络的时候忘了做正则化输入了
对训练效果并没有什么影响
这个可能是因为在初始阶段,神经网络训练的非常快
对训练效果的优化没来得及感受到就过去了吧