• [深度学习]CNN--卷积神经网络中用1*1 卷积有什么作用



    1*1卷积过滤器 和正常的过滤器一样,唯一不同的是它的大小是1*1,没有考虑在前一层局部信息之间的关系。最早出现在 Network In Network的论文中 ,使用1*1卷积是想加深加宽网络结构 ,在Inception网络( Going Deeper with Convolutions )中用来降维.

    由于3*3卷积或者5*5卷积在几百个filter的卷积层上做卷积操作时相当耗时,所以1*1卷积在3*3卷积或者5*5卷积计算之前先降低维度。

    那么,1*1卷积的主要作用有以下几点:

    1、降维( dimension reductionality )

    某次卷积之后的结果是W*H*100的特征,现在需要用1*1的卷积核将其降维成W*H*10,即100个通道变成10个通道:
    通过一次卷积操作,W*H*100将变为W*H*1,这样的话,使用10个1*1的卷积核,显然可以卷积出10个W*H*1,再做通道的串接操作,就实现了W*H*5。

    2. 升维

      比如某次卷积之后的结果是W*H*6的特征,现在需要用1*1的卷积核将其降维成W*H*7,即6个通道变成7个通道:
      通过一次卷积操作,W*H*6将变成W*H*1,这样的话,使用7个1*1的卷积核,显然可以卷积出7个W*H*1,再做铜套串接操作,就实现了W*H*7。


    3、加入非线性。卷积层之后经过激励层,1*1的卷积在前一层的学习表示上添加了非线性激励( non-linear activation ),提升网络的表达能力;


  • 相关阅读:
    使用Perl5获取有道词典释义
    Compress a Folder/Directory via Perl5
    为该目录以及子目录添加index.html
    学习Perl6: slice fastq file
    Javascript Regexp match and replace
    赋值运算符函数
    扑克牌顺子
    翻转单词顺序VS左旋转字符串
    和为S的两个数字VS和为S的连续正数序列
    数组中只出现一次的数字
  • 原文地址:https://www.cnblogs.com/WayneZeng/p/9290714.html
Copyright © 2020-2023  润新知