Network slimming

一、paper&&github

       https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1708.06519

　　https://github.com/mengrang/Slimming-pytorch

二、本文压缩方法

       1、channel的裁剪原则

             使用BN中的gamma作为标准，如果该值较小，即认为其不重要，则该channel即被删减。

       2、损失函数

             网络中gamma值较小的可能不多，因此在训练的时候将其作为一个惩罚项，来加入损失函数。

      其中g取的是smooth_l1 norm。

             

        3、训练过程

              训练模型->采集模型（采集70%）->微调模型，这个过程可以多次进行。

              

     4、如何处理shortcut

            参考https://xiangqianma.github.io/lun-wen-yue-du/learning-efficient-convolutional-networks-through-network-slimming/

参考 https://zhuanlan.zhihu.com/p/39761855