• 学习mobilenet


    论文网址:https://arxiv.org/abs/1704.04861

    mobilenet主要工作是用depthwise sparable convolutions替代过去的standard convolutions来解决卷积网络的计算效率和参数量的问题。

    在该方法中,把标准卷积分为了 深度卷积以及点态卷积,这么做的好处是可以大幅度降低参数量和计算量。

    分解过程示意图如下:标准卷积如图(a),深度可分离卷积如图(b)(c)

     

    计算量减少了:

    标准卷积和MobileNet中使用的深度分离卷积结构对比如下

    :

    mobilenet的具体结构如下

    两个超参量——宽度因子α和分辨率因子ρ

      则深度卷积和逐点卷积的计算量:

    问题:对于为什么可以这么分解,分解原理存在问题,为什么卷积核减少后, 并不会大幅度减少正确率?

    解决:这个问题我在阅读参考博文四时得到了解答。

    mobilenet默认一个假设,就是常规卷积核在feature maps的channels维度映射中,存在一种类似线性组合的分解特性。

    我们用K表示一个常规卷积核,则

                                         

    直观表示如下:

                    

    M是一个n×mn×m的数值矩阵, n行数表示输出feature maps的维度(output channels number),m表示输入feature maps的维度(input channels number)。

    b是一个m维矩阵”向量”(Matrix Spaces),它的每个元素(element)是一个 s×s大小的2维卷积核

     kij=μijbjj是一个 s×s的数值矩阵,表示4维常规卷积核中的一个2维小卷积核。

    即M可等效于常规卷积操作,b矩阵表示深度卷积,μ矩阵表示1x1卷积

    常规卷积核K的参数量是  s×s×n×m

     而MobileNet的Separable卷积的参数量是  s×s×m+n×m
     则压缩率是
          
     
     

    参考:

    一、GEMM:  https://blog.csdn.net/qq_32998593/article/details/86177151?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.channel_param

    二、翻译:https://blog.csdn.net/qq_32768091/article/details/80778815?utm_medium=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase&depth_1-utm_source=distribute.pc_relevant_download.none-task-blog-baidujs-1.nonecase

    三、讲解:https://blog.csdn.net/u011974639/article/details/79199306?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160482948319724835858586%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=160482948319724835858586&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-1-79199306.pc_first_rank_v2_rank_v28&utm_term=mobilenet%E8%AE%BA%E6%96%87

    四、https://blog.csdn.net/sun_28/article/details/78170878?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160532300619724835813359%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160532300619724835813359&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v28-8-78170878.pc_search_result_cache&utm_term=shufflenet&spm=1018.2118.3001.4449

     五、mobilenet2:https://blog.csdn.net/sun_28/article/details/80561964

     

  • 相关阅读:
    两套经典的用户画像-梁宁
    准研一假期的减脂半自律计划
    网络科学导论【第六章】读书脑图
    常见规则网络
    网络科学导论【第五章】读书脑图
    复杂网络链路预测的研究现状及展望
    Python之@property详解及底层实现介绍
    Python触发异常
    一份较认可的文献阅读方案
    HITS算法简介
  • 原文地址:https://www.cnblogs.com/kyshan/p/13966377.html
Copyright © 2020-2023  润新知