• 学习shufflenet


    论文链接:https://arxiv.org/pdf/1707.01083.pdf

    (瓶颈单元:先1x1卷积降维,再3x3卷积,再1x1卷积升维)

    shufflenet提出使用逐点分组卷积以减少1×1卷积的计算复杂度的方法。

    为了克服组卷积带来的副作用,采用了一种新颖的通道混洗操作,以帮助信息流过特征通道。

    突显了分组卷积在运算效率上的优势。

    实现思想如下图:

            

     分组卷积以减少计算量,通道混洗增加相关性。

    对于这个混洗操作,有一个有效高雅(efficiently and elegantly)的实现:

    对于一个卷积层分为g gg组,

    • 1.有g × n g×ng×n个输出通道
    • 2.reshape为( g , n ) (g,n)(g,n)
    • 3.再转置为( n , g ) (n,g)(n,g)
    • 4.平坦化,再分回g gg组作为下一层的输入

    示意图如下:

                                            

    (好家伙,妙啊,解决了由于存储不连续问题导致卷积计算慢)

     在实际过程中我们构建了一个ShuffleNet unit,便于构建实际模型。

    figure b)的示意图如下:

                           

    figure c)的示意图如下:

                              

    参考:

    一、https://delphifan.blog.csdn.net/article/details/79200559?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-2.channel_param&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-2.channel_param

    https://blog.csdn.net/sun_28/article/details/78170878?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160532300619724835813359%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160532300619724835813359&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v28-8-78170878.pc_search_result_cache&utm_term=shufflenet&spm=1018.2118.3001.4449     (CNN网络优化学习总结——从MobileNet到ShuffleNet

    三、https://blog.csdn.net/sun_28/article/details/78170878?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522160532300619724835813359%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fall.%2522%257D&request_id=160532300619724835813359&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~first_rank_v2~rank_v28-8-78170878.pc_search_result_cache&utm_term=shufflenet&spm=1018.2118.3001.4449

  • 相关阅读:
    react中的生命周期钩子
    vue小知识
    vue发布中的前后端分离和前后端不分离
    vue中的vuex
    vue项目的发布
    stylus解决移动端1像素
    一行代码实现数组去重(ES6)
    详解js中Number()、parseInt()和parseFloat()的区别_javascript技巧
    关于element-ui 的日期时间选择器的超出时间无法选择的设置
    git使用
  • 原文地址:https://www.cnblogs.com/kyshan/p/13966911.html
Copyright © 2020-2023  润新知