作者用128维的kernel卷积得到特征图F1,可视化后发现其中有很多相似的特征图(并不能说明冗余,比如你去掉这些相似的特征图,可能性能下降),认为kernel的维度过高,为保证提取到相同的特征信息,其中相似的特征图可以用线性变化得到。
因此用64维的kernel去卷积得到64个特征图F2,然后将F2进行线性组合得到特征图F3,然后再将F2和得到的F3通道拼接,希望用这部分线性特征图学习那些相似的信息。
核心:提出一种新的Ghost卷积模块,用到VGG及resNet这些backbone里,性能没有下降,但是计算量比MobilNet V3大幅下降。
128维kernel卷积得到特征图F1:
下图左图为64维kernel卷积得到的本征(intrinsic)特征图,右图为线性变换得到的特征图部分
两部分的集合基本和F1类似,说明了这种卷积方式有效,且更加灵活