depth wise cnn相对于传统的CNN,区别在于:它是逐通道做卷积操作!
例子如下:
(1)使用传统卷积,输入:H*W*C_in,最终输出h*w*C_out:卷积核尺寸为K*K*C_in*C_out,则参数量=K*K*C_in*C_out,计算量=K*K*h*w*C_in*C_out;
(2)使用depth wise cnn(一般还要加上1*1卷积),输入:H*W*C_in,最终输出h*w*C_out:首先是depth wise cnn,卷积核尺寸为K*K*C_in,该层的参数量=K*K*C_in,计算量=h*w*K*K*C_in,经过它的输出为h*w*C_in;然后是1*1卷积层,卷积核尺寸为1*1*C_in*C_out,该层参数量=1*1*C_in*C_out,计算量=h*w*C_in*C_out;综上,总的参数量=K*K*C_in + C_in*C_out,总的计算量=K*K*h*w*C_in + h*w*C_in*C_out。
然后我们来做比较:
参数量:(K*K + C_out) * C_in < K*K*C_out*C_in,即depth wise cnn具有更小的参数量;
计算量:(K*K + C_out)*h*w*C_in < K*K*C_out*h*w*C_in,即depth wise cnn具有更小的计算量;
综上,depth wise cnn相比较于传统cnn,参数量和计算量都更小,且模型表达能力在检测领域可以达到传统cnn一样的水平,所以广泛用于移动端或者对实时性要求较高的场景中;