caffe中bn往往和scale一起搭配使用。
layer{
bottom: "conv1"
top: "conv1"
name:"bn_conv1"
type:"BatchNorm"
batch_norm_param{
use_global_stats: true
}
}
layer{
bottom:"conv1"
top: "conv1"
name: "scale_conv1"
type: "Scale"
scale_param{
bias_term: true
}
}
其中，batch_norm_param中设置use_global_stats为true指在前向推理过程中，使用已经得到的均值和方差统计量进行归一化处理，不再更新这两个统计量。
bias_term： true表示将其配置为线性变换层。
观察caffe.proto中关于BN层参数的描述。
message BatchNormParameter{
// If false, normalization is performed over the current mini-batch
// and global statistics are accumulated (but not yet used) by a moving average
// If true, those accumulated mean and variance values are used for the normalization
// By default, it is set to false when the network is in the training phase and true when the network is in the testing phase
// 设置为False的话， 更新全局统计量， 对当前mini-batch进行规范化时， 不使用全局统计量
// 而是当前batch的均值和方差
// 设置为True， 使用全局统计量做规范化
// 后面在BN的实现代码， 这个变量默认随着当前网络在train或test phase而变化
// 当train时为false；当test时为true
optional bool use_global_stats = 1;
// what fraction of the moving average remains each iteration?
// Smaller values make the moving average decay faster, giving more
// weight to the recent values
// Each iteraction updates the moving average @f$S_{t-1}@f$ with the current mean
// BN在统计全局均值和方差信息时， 使用的是滑动平均法。
// St = (1-beta)*Yt + beta*S_{t-1}
// 其中St为当前估计出来的全局统计量（均值或方差）， Yt为当前batch的均值或方差
// beta是滑动因子。这是一种常见的平均滤波方法。
optional float moving_average_fraction =2 [default = .999];
// Small value to add to the variance estimate so that we don't divide by zero
// 防止除数为0加上去的eps
optional float eps = 3 [default = 1e-5];
}