引言：卷积神经网络作为CV任务的常规网络，不论是优化网络特征工程还是优化任务，总是离不开网络结构，因此要对CNN架构发展进行了解。从LeNet奠定了CNN的基本构造后，经历了加深网络、加宽网络、注意力机制、精简网络、网络架构搜索这样的阶段。本博文对网络的发展进行极简地整理，主要列出了提纲，需要结合参考的博文来看。
参考博文：https://zhuanlan.zhihu.com/p/76275427
基础网络架构
- 1998：卷积神经网络鼻祖LeNet
- 2012-2014： 经典卷积神经网络
- 2012年AlexNet
- 双GPU运算
- LRN局部响应归一化
- 采用ReLU
- 数据增强
- DropOut—集成学习
- 2014年VGG
- 堆叠小感受野的卷积形成大感受野卷积
- 加深网络
- 模块化堆叠（多个卷积形成一个模块）
- 2014年NIN
- 使用1x1卷积：通道的非线性组合，通道的维度上升/下降
- 2014年googleNet及以后的Inception
- 多分支计算+concatenate
- 2015年 inceptionV2提出BN
- 2015年底 inceptionV3 提出4个设计原则
- Avoid representational bottlenecks, especially early in the network.
- Higher dimensional representations are easier to process locally within a network.
- Spatial aggregation can be done over lower dimensional embeddings without much or any loss in representational power.
- Balance the width and depth of the network.
- 1x1卷积升维后再池化
- 2016年 InceptionV4
- 结合resNet和googleNet
- 2016年 Xception
- 空间相关性和通道相关性可以完全解耦
- 单个1x1卷积后接3x3卷积，先建模通道相关性后空间相关性
- 2015年底ResNet
- 残差连接
- 2016年DenseNet
- 每层feature map进行复用
- 2017 ->： 开辟CNN新模式（注意力机制、轻量化模型）
- 2017年 SENet 注意力机制
- GAP+NLP+sigmoid建模空间注意力
- CBAM使用与se-block相同形式建模空间注意力，并利用均值池化和最大值池化
- DANet使用与NNL相同形式建模通道注意力
- 2017年mobileNet
- Depth-wise卷积+point-wise卷积
- 2017年 shuffleNet
- 2019年 EfficientNet
- 三种方式拓展网络：
- 深度depth：卷积层数量
- 宽度width： 通道数
- 分辨率大小
- 复合系数结合三者，并运用NAS技术
- 进行实验说明了三者和精度具有非线性正相关
- 大量的实验来验证想法，并给出基本的EfficientNet-B0
- 三种方式拓展网络：