论文网址:https://arxiv.org/abs/1704.04861
mobilenet主要工作是用depthwise sparable convolutions替代过去的standard convolutions来解决卷积网络的计算效率和参数量的问题。
在该方法中,把标准卷积分为了 深度卷积以及点态卷积,这么做的好处是可以大幅度降低参数量和计算量。
分解过程示意图如下:标准卷积如图(a),深度可分离卷积如图(b)(c)
计算量减少了:
标准卷积和MobileNet中使用的深度分离卷积结构对比如下
:
mobilenet的具体结构如下
两个超参量——宽度因子α和分辨率因子ρ
则深度卷积和逐点卷积的计算量:
问题:对于为什么可以这么分解,分解原理存在问题,为什么卷积核减少后, 并不会大幅度减少正确率?
解决:这个问题我在阅读参考博文四时得到了解答。
mobilenet默认一个假设,就是常规卷积核在feature maps的channels维度映射中,存在一种类似线性组合的分解特性。
我们用K表示一个常规卷积核,则
直观表示如下:
M是一个n×mn×m的数值矩阵, n行数表示输出feature maps的维度(output channels number),m表示输入feature maps的维度(input channels number)。
b是一个m维矩阵”向量”(Matrix Spaces),它的每个元素(element)是一个 s×s大小的2维卷积核
kij=μijbjj是一个 s×s的数值矩阵,表示4维常规卷积核中的一个2维小卷积核。
即M可等效于常规卷积操作,b矩阵表示深度卷积,μ矩阵表示1x1卷积
常规卷积核K的参数量是 s×s×n×m
参考:
一、GEMM: https://blog.csdn.net/qq_32998593/article/details/86177151?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param
二、翻译:https://blog.csdn.net/qq_32768091/article/details/80778815?utm_medium=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase
三、讲解:https://blog.csdn.net/u011974639/article/details/79199306?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160482948319724835858586%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=160482948319724835858586&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-79199306.pc_first_rank_v2_rank_v28&utm_term=mobilenet%E8%AE%BA%E6%96%87
四、https://blog.csdn.net/sun_28/article/details/78170878?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160532300619724835813359%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160532300619724835813359&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v28-8-78170878.pc_search_result_cache&utm_term=shufflenet&spm=1018.2118.3001.4449
五、mobilenet2:https://blog.csdn.net/sun_28/article/details/80561964