什么是1X1卷积
11的卷积就是对上一层的多个feature channels线性叠加,channel加权平均。
只不过这个组合系数恰好可以看成是一个11的卷积。这种表示的好处是,完全可以回到模型中其他常见N*N的框架下,不用定义新的层。
比如上一层通过100个卷积核得到了 W * H * 100的数据,进行10个1X1卷积后得到 W * H * 10 的数据,它是对每个features channel像素点进行累计放缩。
为什么要用这个?
通过这样的方式,通道之间的信息交互,卷积核通道也可以简单的升维降维。
当1*1卷积出现时,在大多数情况下它作用是升/降特征的维度,这里的维度指的是通道数(厚度),而不改变图片的宽和高。
平均池化是针对每个feature map的平均操作,没有通道间的交互,而1×1卷积是对通道的操作,在通道的维度上进行线性组合
feature map之间的线性组合,特征的高度抽象过程。这一过程视为由线性变换为非线性,提高抽象程度。
1.维度升降主要于conv层的channel设置有关,实际于kernel_size大小无关;即实际中我设置的卷积核为1x1,目的更可能是为了降低参数个数,减少训练成本;
2.加入非线性。在NIN中其加入了1x1的conv层,由传统的conv升级为mlpconv的转变,使之由单纯的线性变换,变为复杂的feature map之间的线性组合,从而实现特征的高度抽象过程。这一过程视为由线性变换为非线性,提高抽象程度。而非加入激活函数的作用。
global average pooling
用来解决全连接的问题,其主要是是将最后一层的特征图进行整张图的一个均值池化,形成一个特征点,将这些特征点组成最后的特征向量进行softmax中进行计算。
例如:最后的一层的数据是10个66的特征图,global average pooling是将每一张特征图计算所有像素点的均值,输出一个数据值,这样10 个特征图就会输出10个数据点,将这些数据点组成一个110的向量的话,就成为一个特征向量,就可以送入到softmax的分类中计算了