图像预处理之白化操作

Internal CovariateCovariateCovariate ShiftShiftShift ：此术语是google小组在论文BatchBatchBatch NormalizatoinNormalizatoinNormalizatoin 中提出来的，其主要描述的是：训练深度网络的时候经常发生训练困难的问题，因为，每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了），此现象称之为InternalInternalInternal CovariateCovariateCovariate ShiftShiftShift。

BatchBatchBatch NormalizatoinNormalizatoinNormalizatoin 之前的解决方案就是使用较小的学习率，和小心的初始化参数，对数据做白化处理，但是显然治标不治本。

白化的具体操作过程，参考：https://www.cnblogs.com/chzhang1994/p/8695203.html

再看BN原理：https://blog.csdn.net/qq_25737169/article/details/79048516