1.GoogleNet 网络:
Inception V1 - Inception V2 - Inception V3 - Inception V4
1. Inception v1
split - merge - 1*1卷积,3*3卷积, 5*5卷积, 3*3池化
输入层:inception
1*1 卷积
1*1卷积 - 3*3卷积
1*1卷积 - 5*5卷积
3*3 maxpooling - 1*1 卷积
2个辅助分类器
深网络中,梯度回传到最初几层,存在严重消失问题
有效加速收敛
测试阶段不适用
2. inception v2
采用了Batch Normalization(批归一化),使得输出规划到(0, 1)
对每一个特征通道做归一化, 归一化是进行中心化和标准化
x1 = (x-u) / б
y(k) = y(k) * x1(k) + β(k)
training:
每个batch中k组均值-标准差会被存储
testing:
无batch, 将所有的Kzu均值-标准差分别求平均,使用这K组平均
3. Inception v3
核心组件
非对称卷积: N*N 分解成1*N 和 N * 1
4. Inception v4
添加了一个残差神经网络的直连思想
2.ResNet 残差网络
可以拟合任意目标映射F(x), H(x) = F(x) + x
F(x)是残差映射
当H(x) 最优映射接近Identity, 容易捕捉到很小的扰动
X - weight layer - relu - weight layer -relu -
Y - weight layer - relu - weight layer - relu - , 直接从Y到达后面实现直连
其他设计:
全是3*3卷积核
卷积步长2取代池化
使用batch Normalization
取消:
Max池化
全连接
dropout
3. ResNext网络
提出了第三个维度
策略:将卷积核按通道分组,形成32个并行分支
低维度卷积,进行特征变化
加法合并
4. CNN设计准则
避免信息瓶颈
卷积过程中
空间尺寸 H * W 变小
输出通道C变多
数据量H*W*C要缓慢变小
通道数量保持在可控范围内
感受野在前期要足够大
在后面几层使用多个尺寸的卷积核
CNN 设计准则
分组策略 采用通道分解(resnext)- 降低计算量
低秩分解 - 3*3*c*k - 1*3*c*k 和 3*1*c*k