什么是卷积神经网络
卷积神经网络：以卷积结构为主（除了conv，还有pooling，dropout等层次结构），搭建起来的深度网络。
- 将图片作为输入：卷积输入数据的维度((n,h,w,c)),分别表示batch_size,高度，宽度，色彩通道。
- 自动提取特征：参数优化
- 图片的变形具有高度不变性：对于图像的形变是不敏感的，是鲁棒的
特征提取通常是在输出结果前的一层，FC层，经过这个FC层，卷积特征就会变成一个向量，这个向量具体多少维，取决于FC的参数。
卷积神经网络的重要组成单元
这里需要重点介绍的有：
- 卷积层
- 池化层
- 激活层
- BN层
- LOSS层
- 全连接层
卷积：对图像和滤波矩阵（卷积核）做互相关运算（对应元素相乘再求和）的操作。
卷积操作简单来说就是图像和滤波矩阵进行先乘后加的操作。
- 滤波器
- 每一种卷积对应一种特征
- Im2col实现卷积运算：实现卷积运算不是两重循环，而是先把图片转换成向量，然后进行向量的运算。
右下图是一个卷积的具体例子，卷积核和对应图片的一个区域，每个元素与对应元素进行相乘，最后在逐个相加，得到结果（一个数）！
卷积中的重要参数
卷积核
- 最常用为2D卷积核((k_w*k_h))
- 权重和偏置项
- 常用卷积核：1*1，3*3，5*5，7*7 （一般不会超过7*7）
为什么卷积核都是奇数的大小？因为有“中间点”，feature map存在“中间点”与原来的图像进行一一对应，可以保留图像的空间信息。
一般而言，卷积操作后feature map的尺寸会变小，padding可以使得feature map的尺寸与原图像一致。
卷积——权值共享与局部连接（局部感受野/局部感知）
- 卷积运算作用在局部（这里的filter size应该被认为是卷积后的feature size的大小）
- Feature map使用同一个卷积核运算后得到一种特征（权值共享）
- 多种特征采用多个卷积核（channel）
从层和层之间的连接关系来看，输入层和输出层是局部连接的。也就是当前的一个局部区域，对应到输出的feature map的一个点。
全连接就是feature map上的点和输入层的每一个点都存在连接关系。
上面的示例图说的就是权值共享&局部连接。
-
局部连接：
对于一个1000 × 1000的输入图像而言，如果下一个隐藏层的神经元数目为10^6个，采用全连接则有1000 × 1000 × 10^6 = 10^12个权值参数，如此数目巨大的参数几乎难以训练；而采用局部连接，隐藏层的每个神经元仅与图像中10 × 10的局部图像相连接，那么此时的权值参数数量为10 × 10 × 10^6 = 10^8，将直接减少4个数量级。
-
权值共享：
尽管减少了几个数量级，但参数数量依然较多。能不能再进一步减少呢？能！方法就是权值共享。具体做法是，在局部连接中隐藏层的每一个神经元连接的是一个10 × 10的局部图像，因此有10 × 10个权值参数，将这10 × 10个权值参数共享给剩下的神经元，也就是说隐藏层中10^6个神经元的权值参数相同，那么此时不管隐藏层神经元的数目是多少，需要训练的参数就是这 10 × 10个权值参数（也就是卷积核(也称滤波器)的大小），如下图。
这大概就是CNN的一个神奇之处，尽管只有这么少的参数，依旧有出色的性能。但是，这样仅提取了图像的一种特征，如果要多提取出一些特征，可以增加多个卷积核，不同的卷积核能够得到图像的不同映射下的特征，称之为Feature Map。如果有100个卷积核，最终的权值参数也仅为100 × 100 = 10^4个而已。另外，偏置参数也是共享的，同一种滤波器共享一个。
卷积核的大小就对应感受野的区域大小，比如(3*3)d的卷积核，其感受野的大小就是(5*5)。
卷积核越大，意味着感受野越大，感受野越大，意味着感知到这个图像的区域信息就会越多。但是如果用大卷积核，不见得学到的结果就好。例如上图，以2D举例，(3*3)卷积核的参数个数为9，(5*5)卷积核的参数个数为25，(7*7)卷积核的参数个数为49，参数过多容易导致过拟合。
小卷积核是减少了计算量，但是如何实现大卷积核的效果呢？答案是叠加卷积。
例如右上图，(3*3)大小的卷积核卷积一次得到的feature map的大小为(3*3)，在用(3*3)的卷积核再卷积一次，那么其大小就会变成(1*1)，其效果等价于直接使用(5*5)的卷积核进行一次卷积。
使用小卷积核替代大卷积核的好处：参数量和计算量明显降低！
通过多个小卷积核来替代一个大卷积核，不仅可以保证感受野的大小不变，而却网络的深度会加深，那么就可以在卷积层和卷积层的其中加入一些非线性层，使得网络的非线性能力更加的强，意味着网络描述一个事物的能力会变强。
评估卷积的参数量是必须掌握的。
参数越多，那么对机器的性能就越高，在保证性能的前提下，当然是希望参数越小越好！参数越多，意味着我们的模型越复杂。
步长（Stride）
- 下采样的过程
- 输出Feature Map的大小变化：((N-F)/stride+1)
stride一般都是设置为1或2。
Pad
- 确保Feature Map整数倍变化，对尺度相关的任务尤为重要
比如(8*8)大小的矩阵，卷积核的大小为(3*3)，那么经过pooling得到的Feature Map的大小为(6*6)，(8*8)和(6*6)相差不是整数倍！
具体要pad多少呢？和卷积核的大小相关
- F=3 =》zero pad with 1
- F=5 =》zero pad with 2
- F=7 =》zero pad with 3
卷积的定义和使用
在tensorflow中定义卷积的话，实际上有很多方法，使用tf.nn原生方法来定义的话，需要自己先定义权值项filter_weight和偏置项biases，
slim是对tensorflow更加高层的一个封装，也可以方便的定义卷积。
池化的基本概念
池化：对输入的特征图进行压缩
- 使特征图变小，简化网络计算复杂度（stride就是有下采样的作用）
- 进行特征压缩，提取主要特征
- 增大感受野
池化是对Feature Map进行压缩，得到更小的Feature Map！
压缩Feature Map，一方面是可以减少计算量，还有这也是一个特征提取的过程，另外，对Feature Map压缩可以增大感受野。
注意： 池化层是没有参数的，所以进行BP的时候是无关池化层的事情！
激活函数的基本概念
激活函数：增加网络的非线性，进而提升网络的表达能力
如何理解线性和非线性？
从分类器的角度来理解：
- 线性分类器就是用一个“超平面”将正、负样本隔离开，如：
（1）二维平面上的正、负样本用一条直线来进行分类；
（2）三维立体空间内的正、负样本用一个平面来进行分类；
（3）N维空间内的正负样本用一个超平面来进行分类。 - 非线性分类器就是用一个“超曲面”或者多个超平（曲）面的组合将正、负样本隔离开（即，不属于线性的分类器），如：
（1）二维平面上的正、负样本用一条曲线或折线来进行分类；
（2）三维立体空间内的正、负样本用一个曲面或者折面来进行分类；
（3）N维空间内的正负样本用一个超曲面来进行分类。
从函数定义角度来说：
- 线性：1、变量之间的变化率为恒量，函数关系是直线；2、满足叠加原理，即f(ax + by) = af(x) + bf(y)。
- 非线性：所有不满足线性条件的关系就是非线性。
- 可以写成多元一次方程组形式的，就是线性。二次以上就是非线性。
sigmoid函数将输入的值归一化到0到1中去 (x => [0,1])，([0,1])之间有什么特点呢？可以表达概率。因此如果是分类任务，可以使用sigmod函数将结果映射到([0,1])当中，这样就拿到一个关于结果预测的概率分布。
sigmoid函数很少在网络的中间层，主要原因就是sigmoid容易出现梯度弥散/梯度饱和这样的问题，BP由链式法则进行乘法叠加，那么就会有梯度弥散（就是梯度很小，收敛很慢）。
指数运算是一个非常耗时的运算！
sigmoid更多是作为最后的输出层。
sigmoid和tanh在RNN中应用会更多，在CNN中应用是较少的！
tanh和sigmoid的问题是类似的，一个就是梯度弥散的问题，一个就是指数运算的问题。
tanh和sigmoid的区别在于输出是否以零为中心。
一般在设计CNN的时候都是不会用到tanh和sigmoid的，sigmoid还CNN还会有用到，tanh基本是不会在CNN中出现的
RuLU激活函数是现在CNN的标配激活函数！
BatchNorm层/批量归一化层
(eta,gamma)这两个是在BN层可以被进行学习的参数。
BatchNorm层：通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0，方差为1的标准正态分布。
为什么需要引入BatchNorm层对数据进行规范化处理呢？
对于原始的输入数据，如果我们不加规范化的话，输入数据的分布是不可控的，每个层的数据分布都是有差异的。而且这个差异，在训练的过程中，由于经过多轮的BP算法，每一轮的BP算法都会改变相应层的参数，这一层参数的改变，也意味着这一层的输入输出也会发生变化，输入输出发生变化，数据的部分又不可控，这个时候带来的一个现象就是训练过程中，每一层的分布是不停在变化的，这对于网络的收敛是非常不利的，也正是因为这样的一个原因，才会对输入的数据进行约束。
BatchNorm层使用在激活函数之前，BatchNorm层本质上是一种线性变换，激活函数是非线性变换。
引入BatchNorm层，对数据进行规范化的约束，会带来很多优点。
- 可以取消Dropout层和L2正则项
- BN层可以加速模型收敛，因此学习率可以稍微增大
- BN可以理解为在每个小批量里加入了噪音，以此来控制模型的复杂度
上面是TensorFlow中三种使用BN的方式。
全连接层
全连接层：连接所有的特征，及那个输出值送给分类器（比如softmax分类器）
- 将网络的输出变成一个向量： 卷积层输出的结果，一定是一个四维的特征图((n,h,w,c))，需要将这个四维矩阵转化为一维向量进行全连接
- 可以采用卷积代替全连接层
- 全连接层是尺度敏感的：全连接层的参数是固定的，如果输入的个数改变，那么运算的式子也会跟着改变。
- 配合使用dropout层： 因为全连接层的参数量非常大，所以使用dropout层随机丢弃一些节点
全连接层就是一个线性运算。
通常而言，一个卷积网的参数量，大部分都是占据在全连接层的，比如VGG，80%的参数都是来自最后的FC层。
Dropout层/丢弃法
使用全连接层由于参数量非常大，所以会使用dropout层，来对节点进行杀死。
dropout：在训练过程中，随机的丢弃一部分输入，此时丢弃部分对应的参数不会更新（置零）。
防止模型过拟合有两种处理方式：
- 一种是让模型变得比较小（就是减少参数） =》 丢弃法
- 一种是让每个参数选择值的范围比较小 =》 权重衰退
下面是范数知识的补充
关于权重衰退知识的补充
损失层
损失函数：用来评估模型的预测值与真实值的不一致程度。
- 经验风险最小：得到的结果最优
- 结构风险最小：防止模型过于复杂（过拟合）
交叉熵损失、softmax这些都是经验风险最小的损失函数，需要在损失函数中加入一个惩罚项。
常见的结构风险最小的函数有L0，L1，L2。
损失层一般都是定义了经验风险最小， 那么结构风险最小需要另外加约束，比如对卷积的核函数参数((w,b))，那么可以对其添加L2正则化。
交叉熵损失实际上是源于逻辑回归中的似然损失。
什么是似然？我们在学习概率统计的时候经常会去区分两个概念，就是概率和似然。
- 概率通常是一个统计上的概念，某一个事件出现的频次
- 似然是在已知结果的情况下，反推产生这些结果的原因（在深度学习中这些原因就是我们要进行学习的参数）
非负性：对于损失，都是大于等于0的，因为只有大于等于0，这样才能找到一个最小值。
上面的公式是以二分类作为例子给出的。
L1在0点不可导，L2在0点可导，但是L2越靠近0，那么梯度的值就越来越小。
Smooth L1是综合考虑了L1和L2的特点。在((-1,1))中靠近0点使用L2，其他使用L1加速收敛。
常见的卷积神经网络结构
模型是要设计的越复杂还是更加的轻量？
工业界希望是在保证准确率的情况下，模型设计的越轻量越好。
学术界则希望模型能够设计的更加的复杂，这样来保证模型的正确率。
LeNet
LeNet应用于一个十分类问题（手写数字识别 mnist）。
从LeNet可以看到分类任务的大概思路。
图片输入，经过（conv，pooling），在经过全连接层（FC n分类就n维），最后经过softmax，得到一个([0,1])的概率值。
AlexNet
2012年显卡的显存还是有限的，网络模型图中给出的两个分支，表示使用两张显卡进行分布式训练。
- conv-relu-pooling-LRN
网络图所示，图片经过多轮卷积，(11*11,5*5,3*3,3*3,3*3)，AlexNet在设计的时候，每一个卷积之后，都会配有relu,pooling,LRN三个层。
relu 增加非线性能力
pooling 下采样，增大图像感受野，对图像进一步提取
LRN 归一化，将数据约束在一定
- fc-rule-dropout
在经过两个fc层，后面跟着rule和dropout，因为fc层的参数量非常大，所以这里要使用dropout层进行一些参数的删除（置零）。
- fc-softmax
最终将特征映射到一个1000维的向量上。
最终训练出来的参数在60M以上，整个模型大小在200M以上。
- ReLU激活函数
ReLU激活函数相对于其他的激活函数，能实现一个更快的计算速度，并且在x大于0时，不会出现梯度消失这样的问题。
ReLU也成了后面我们设计卷积神经网络的一个标配。
- Dropout层
FC+Dropout层是标配，dropout可以减少过拟合的风险，因为FC中存在过多的参数，通过dropout能够对FC的参数进行约束。
- LRN层
后面研究发现LRN层其实没有多大作用，现在基本已经被弃用了，现在使用的最多的是BN层。
ZFNet
ZFNet对于AlexNet并没有多大的改进，只是对AlexNet进行了一些细致的调整。ZFNet的最大贡献是对卷积网络为什么有效进行了分析。
ZFNet中提出的几点结论，是非常有普适性的。
ZFNet将特征进行可视化展示，具体是如何实现呢？上图的右边是正常卷积网的一个数据流向，对于我们最终下采样拿到的一个图片，我们该如何还原成最初的图片呢？实际上如果想进行百分百的还原，这是不可能的，因为经过激活层和pooling层的时候，会对图像造成不可逆的破坏，因此这个还原只是对特征高层次的语义分析，具体是通过上采样和反卷积操作来完成的，最终得到与原始图像大小一致的特征图。
通过观察这些还原出来的特征图，作者总结出下面的结论。
- 特征分层次体系结构
对于CNN，特征的层次结构是非常明显的，通过浅层的卷积网络，可以得到纹理、颜色这些低层次的特征，再经过卷积，可以得到更加精细的纹理结构，这些特征图再经过多次深层的卷积，这时候在反卷积可视化，实际上很难在视觉上描述是什么特征，这称为高层次的语义特征。
下图是训练时的特征演变。
越浅层的网络提取出来的特征就越低，
- 深层特征更鲁棒
这个鲁棒体现在哪里呢？如果输入的图像发生了轻微的扰动，那么浅层的特征会发生明显的变化，但是对于深层的特征，产生的变化会越来越小。
也就说，深层次的特征对输入的图像变得越来越不敏感，越来越鲁棒。
- 深层特征更有区分度
利用这些深层特征，可以更好的完成图像的分类。
- 深层特征收敛更慢
网络加深之后很难收敛，也就是越来越难训练，但是加深网络确实效果会更好。
ResNet解决了网络加深后收敛变慢的这个问题。
VGG
VGG
- 为了研究网络深度对模型准确度的影响，并采用小卷积堆叠的方式，来搭建整个网络结构
都是采用了(3*3)的小卷积。
- 参数量：138M；模型大小>500M
VGG的网络更大，对比参数量的大小和模型大小就可以知道。
上面的VGG示例图只列出了卷积的结构，实际上在卷积当中还会插入激活层和池化层。
上面列出了11层、13层、16层、19层（卷积层、FC层是需要进行参数训练的，池化层不需要训练）。
这里输入图像的大小是(224*224)，这个尺寸是对应ImageNet挑战赛图像分类任务的图像尺寸，这也是为什么我们在设计分类识别任务的时候采用(224*224)来设计和训练网络。我们想要使用ImageNet挑战赛上表现优秀的模型来进行模型迁移，那么就需要保证和训练的模型数据的一致性，所以在设计网络的时候会尽量保证尺寸为(224*224)。
-
更深的网络结构，结构更加规整、简答
-
全部使用(3*3)的小型卷积核核(2*2)的最大池化层
不难发现一点，VGG的网络非常深，相比AlexNet，它的卷积是非常多的，另外可以发现这里的卷积核都是(3*3)的卷积核，没有大于(3*3)的卷积核。
小卷积核可以实现大卷积核的感受野范围，同时计算量会更小。
- 每次池化后Feature Map宽高降低一半，通道数量增加一倍
每次经过一个pooling层，channel的数量会乘2，保证提取的数量。
- 网络层数更多，结构更深，模型参数更大
-
证明了更深的网络，能够提取更好的特征
-
成为后续很多网络的backbone
利用VGG来进行特征的提取，虽然VGG只在ImageNet挑战赛获得第二名，但是使用VGG提取出来的图像特征往往更有效。
这也是为什么VGG也成为后续很多网络的主干网络。
- 规范化了后续网络设计的思路
VGG也规范了后面网络的设计思路，后续的网络设计基本都是非常的规整。
基本都有一个最小的结构单元，然后在这个单元上进行堆叠。
还有就是一个默认：每次下采样过后，channel的数量也会相应的增加。
Inception
Inception结构，在设计网络结构时，不仅强调网络的深度，也会考虑网络的宽度。
网中网的结构，也就是Inception结构。
Inception结构在后面设计网络结构的时候也是经常会被用到的一个网络结构。
Inception提出后，Google也进行了一系列的改进，提出v2、v3..
更多的卷积：网络的宽度（channel数量）
更深的层次：网络的深度
为什么GoogleNet的网路深度很深，宽度也很宽，可最终的参数量却很小呢？主要就是有效的利用了(1*1)的卷积核。
Inception结构是GooLeNet的最小结构单元，当然GoogLeNet中包含多个Inception结构， 每个Inception结构都有一些细微的差别。
不同于VGG的”串“结构，GoogLeNet表现为一个”网中网“的结构，输入的中间的这样一个层，它的每个结点同样也是一个卷积。
值得学习的一个点就是在经过(3*3)和(5*5)的卷积核之前，会使用(1*1)的卷积核来减少channel的数量。
GoogLeNet为了保证网络变深之后能够收敛的更好，利用了2个loss来进行训练。
GoogoLeNet最大的启示就是教会我们如何巧妙的利用(1*1)的卷积核。
理解为什么什么(1*1)的卷积核可以实现降维？
这个就是卷积运算本身的内容，卷积核的channel是多少，那么最后的结果是把每个channel进行相加。
也就是如果输入(28*28*192)经过一个(1*1*64)的卷积核后，尺寸会变成(28*28*3)。
上图的左右和右边分别表示在图片输入之前有没有加入(1*1)的卷积核。
- 更深的网络结构，同时考虑了网络的宽度
GoogLeNet在设计的时候不仅考虑网络的深度，也考虑的网络的宽度。
- 两个LOSS层，降低过拟合风险
- 巧妙地利用(1*1)的卷积核来进行通道降维，减小计算量
这里的更新是 利用两个(3*3)替换(5*5)，利用(n*1)和(1*n)替换了(n*n)。
使用小卷积核替换大卷积核的好处：
- 参数量减少，计算量减少
- 网络变深，那么可以插入更多的激活函数，增加网络的非线性能力。
实验表明，对于卷积的这种拆分，最好是在网络的中间使用，不要再输入的开始就进行这样的卷积拆分。
ResNet
ResNet引入跳连结构来防止梯度消失问题，可以进一步加大网络的深度。
ResNet也是后面许多网络结构作为主干网络进行特征提取的首选。
VGG最多有19层，ResNet可以达到上百层。为什么ResNet的网络结构可以这么深呢？因为引入了跳连的结构。
这种跳连结构直接将输入层的特征传递到输出层，然后和卷积之后的结果进行相加，最后可以得到一个结合了原始输入特征的输出特征。
在网络加入这样跳连的线，实际上并没有增加参数量，虽然网络结构发生了变化，但是网络的参数量是没有发生变化的，这也是跳连结构的一个优点。
ResNet在设计的时候同样采用卷积堆叠的方式，但是不再是串联，而是这种带有跳连的结构来作为核心单元。然后网络使用这样的单元来进行堆叠。
输入使用(7*7)的卷积核，由于初始channel为3，问题不大。可以发现后面深层一点的卷积核都是(1*1)和(3*3)的。
ResNet在最后分类的时候，采用的不是FC，而是average pool。VGG的80%的参数集中在FC层，使用一个池化层来替换掉FC层，会减少很多的参数量，因为池化层本身是没有参数的。
对于像50、101、152层的ResNet，其中还采用了(1*1)的卷积核来减少计算量，整个还是可以接受的。
上图有给出网络需要的计算量FLOPs。
还有就是ResNet对缓存有要求，如下图，从A->C不是直接串联下来的，而是需要把A先进行缓存，如果feature map比较大或channel比较多，对机器的缓存就有要求。
例如上图，网络当然不是越深越好，这是一定的，比如F3的网络可能最优解比F6找到的要更好，这种虽然网络更深，但是并没有表现得更好，这就是模型偏移。
ResNet的思想就是可以保证模型不会变差。
如下图，输入的特征为x，输出特征为(H(x)=f(x)+x)
也就是，即使没有(f(x))，那么(H(x))也有x作为保底。
从卷积的角度思考，如何减小网络中的计算量
从GoogleNet中，可以总结出下面几个结论，来减少卷积网络中的计算量。
- 小卷积核来对大卷积核进行拆分
对于(5*5)和(7*7)这样的大卷积核（不可能比7更大），最多只会使用再输入层，因为原始图片输入channel为3，那么channel为3的计算量还是很小的，但是后续的channel的可能是32、64、128，这就是非常大一个channel数量。
后面一般都是采用(3*3)或(1*1)的卷积核，不太会采用其他的大小的卷积核。像类似(1*3)和(3*1)也很少使用，只用在Inception中使用了。
- stride=2代替pooling层
stride=2可以直接降低当前卷积层的计算量。
- 巧妙地利用(1*1)的卷积核来进行降维
(1*1)卷积核可以帮助减少channel的数量。
我们在设计卷积的时候，要压缩网络的时候，就可以从上面的点来进行考虑。
卷积神经网络结构对比
AlexNet：开启了卷积神经网络的风暴
VGG：加深了卷积神经网络
GoogLeNet：加深、加宽了网络
ResNet：更加加深了网络
卷积神经网络中的Attention机制
注意力机制可能大家在循环神经网中大家了解会比较多一点，实际上在卷积神经网络中也存在attention机制。
attention是模仿人脑在观察图片的时候，会像关注重要的信息。
引入attention机制，使得网络有更好的可解释性。
attention就是对图像相应位置进行不同程度的加权，
Hard-Attention：0/1这样的mask
Soft-Attention：0~1这样的mask
attention就是一种加权的思路，这种加权的思路不仅可以用在特征图，还可以用在原始图、空间尺度...
上部分是一个标准的ResNet结构，下部分就是在计算特征图上每个点的权值，通过卷积和反卷积，得到和feature map大小一致的结果，然后对这个输出结果进行激活，然后和特征结果进行点乘，再进行相加，这就完成了对特征图的加权。
上图是将特征图作用在通道上的一种加权的方法。
模型压缩
想要让模型跑在嵌入设备中
- 一种方法就是设计一些轻量型的卷积神经网络
- 还有就是对大的模型进行模型压缩
模型压缩也是在精度和速度之间的一种平衡。
学院派希望精度越高越好，工程派希望在精度一定时候，能够让模型尽可能的轻量，减少计算量。
模型剪枝
小结
什么是卷积神经网络
卷积神经网络：以卷积结构为主（除了conv，还有pooling，dropout等层次结构），搭建起来的深度网络。
* 将图片作为输入：卷积输入数据的维度$(n,h,w,c)$,分别表示batch_size,高度，宽度，色彩通道。
* 自动提取特征：参数优化
* 图片的变形具有高度不变性：对于图像的形变是不敏感的，是鲁棒的
特征提取通常是在输出结果前的一层，FC层，经过这个FC层，卷积特征就会变成一个向量，这个向量具体多少维，取决于FC的参数。
卷积的基本定义
卷积：对图像和滤波矩阵（卷积核）做互相关运算（对应元素相乘再求和）的操作。
卷积操作简单来说就是图像和滤波矩阵进行先乘后加的操作。
* 滤波器
* 每一种卷积对应一种特征
* Im2col实现卷积运算：实现卷积运算不是两重循环，而是先把图片转换成向量，然后进行向量的运算。
卷积核，以及卷积核的大小为什么都是奇数？
卷积核
* 最常用为2D卷积核$(k_w*k_h)$
* 权重和偏置项
* 常用卷积核：1*1，3*3，5*5，7*7 （一般不会超过7*7）
为什么卷积核都是奇数的大小？因为有“中间点”，feature map存在“中间点”与原来的图像进行一一对应，可以保留图像的空间信息。
一般而言，卷积操作后feature map的尺寸会变小，padding可以使得feature map的尺寸与原图像一致。
卷积中的局部连接和权值共享
局部连接：图片中只有局部与输出的feature map的点有关
全连接：feature map的店与图像中的全部点都有关
权值共享：没有必要每一个局部都训练出一个卷积核的参数，一个就行了（提取同一种特征，而且与位置无关）
局部连接&权值共享大大减小了图片的网络参数数量！
卷积核与感受野
**使用小卷积核替代大卷积核的好处：参数量和计算量明显降低！**
通过多个小卷积核来替代一个大卷积核，不仅可以保证感受野的大小不变，而却网络的深度会加深，那么就可以在卷积层和卷积层的其中加入一些非线性层，使得网络的非线性能力更加的强，意味着网络描述一个事物的能力会变强。
如何估算卷积的参数量？
32*32*3image
filter size:5*5
filter num:100
那么参数的个数为
5*5*3*1*100
如果没有权值共享，那么为 (5*5*3)*(28*28)*100
步长
步长（Stride）
* 下采样的过程(把高维矩阵通过一个隐层映射为一个维数较低的矩阵)
* 输出Feature Map的大小变化：$(N-F)/stride+1$
stride一般都是设置为1或2。
pad
Pad
* 确保Feature Map整数倍变化，对尺度相关的任务尤为重要
比如$8*8$大小的矩阵，卷积核的大小为$3*3$，那么经过pooling得到的Feature Map的大小为$6*6$，$8*8$和$6*6$相差不是整数倍！
具体要pad多少呢？和卷积核的大小相关
* F=3 =》zero pad with 1
* F=3 =》zero pad with 2
* F=3 =》zero pad with 3
池化层
池化：对输入的特征图进行压缩
* 使特征图变小，简化网络计算复杂度（stride就是有下采样的作用）
* 进行特征压缩，提取主要特征
* 增大感受野
池化是对Feature Map进行压缩，得到更小的Feature Map！
压缩Feature Map，一方面是可以减少计算量，还有这也是一个特征提取的过程，另外，对Feature Map压缩可以增大感受野。
注意： 池化层是没有参数的，所以进行BP的时候是无关池化层的事情！
什么是线性？什么是非线性？
从分类器的角度来理解：
* 线性分类器就是用一个“超平面”将正、负样本隔离开，如：
（1）二维平面上的正、负样本用一条直线来进行分类；
（2）三维立体空间内的正、负样本用一个平面来进行分类；
（3）N维空间内的正负样本用一个超平面来进行分类。
* 非线性分类器就是用一个“超曲面”或者多个超平（曲）面的组合将正、负样本隔离开（即，不属于线性的分类器），如：
（1）二维平面上的正、负样本用一条曲线或折线来进行分类；
（2）三维立体空间内的正、负样本用一个曲面或者折面来进行分类；
（3）N维空间内的正负样本用一个超曲面来进行分类。
从函数定义角度来说：
* 线性：1、变量之间的变化率为恒量，函数关系是直线；2、满足叠加原理，即f(ax + by) = af(x) + bf(y)。
* 非线性：所有不满足线性条件的关系就是非线性。
* 可以写成多元一次方程组形式的，就是线性。二次以上就是非线性。
激活函数，sigmoid，tanh，ReLU
激活函数：增加网络的非线性，进而提升网络的表达能力
sigmoid:
sigmoid函数将输入的值归一化到0到1中去 $x => [0,1]$，$[0,1]$之间有什么特点呢？可以表达概率。因此如果是分类任务，可以使用sigmod函数将结果映射到$[0,1]$当中，这样就拿到一个关于结果预测的概率分布。
sigmoid函数很少在网络的中间层，主要原因就是sigmoid容易出现梯度弥散/梯度饱和这样的问题，BP由链式法则进行乘法叠加，那么就会有梯度弥散（就是梯度很小，收敛很慢）。
指数运算是一个非常耗时的运算！
sigmoid更多是作为最后的输出层。
**sigmoid和tanh在RNN中应用会更多，在CNN中应用是较少的！**
tanh:
tanh和sigmoid的问题是类似的，一个就是梯度弥散的问题，一个就是指数运算的问题。
tanh和sigmoid的区别在于输出是否以零为中心。
**一般在设计CNN的时候都是不会用到tanh和sigmoid的，sigmoid还CNN还会有用到，tanh基本是不会在CNN中出现的**
ReLU:
**RuLU激活函数是现在CNN的标配激活函数！**
BatchNorm层/批量归一化层
BatchNorm层：通过一定的规范化手段，把每层神经网络任意神经元这个输入值的分布强行拉回到均值为0，方差为1的标准正态分布。
效果：非常的work！现在基本是深层卷积网络的标配。（典型的工程走在理论前面！）
作用：可能就是通过在每个小批量里加入噪音来控制模型的复杂度（防止过拟合），还有就是BN层可以加速收敛速度，但是对精度不会影响太多（所以一般大家都乐意加上BN层，能加速何乐而不为呢）
引入BatchNorm层，对数据进行规范化的约束，会带来很多优点。
* 可以取消Dropout层（丢弃法）和L2正则项
* BN层可以加速模型收敛，因此学习率可以稍微增大
* BN可以理解为在每个小批量里加入了噪音，以此来控制模型的复杂度
为什么需要引入BatchNorm层对数据进行规范化处理呢？
对于原始的输入数据，如果我们不加规范化的话，输入数据的分布是不可控的，每个层的数据分布都是有差异的。而且这个差异，在训练的过程中，由于经过多轮的BP算法，每一轮的BP算法都会改变相应层的参数，这一层参数的改变，也意味着这一层的输入输出也会发生变化，输入输出发生变化，数据的部分又不可控，这个时候带来的一个现象就是训练过程中，每一层的分布是不停在变化的，这对于网络的收敛是非常不利的，也正是因为这样的一个原因，才会对输入的数据进行约束。
特征缩放方法
归一化： MinMaxScaler
标准化： StandardScaler
全连接层
全连接层：连接所有的特征，及那个输出值送给分类器（比如softmax分类器）
* 将网络的输出变成一个向量： 卷积层输出的结果，一定是一个四维的特征图$(n,h,w,c)$，需要将这个四维矩阵转化为一维向量进行全连接
* 可以采用卷积代替全连接层
* 全连接层是尺度敏感的：全连接层的参数是固定的，如果输入的个数改变，那么运算的式子也会跟着改变。
* 配合使用dropout层： 因为全连接层的参数量非常大，所以使用dropout层随机丢弃一些节点
全连接层就是一个线性运算。
通常而言，一个卷积网的参数量，大部分都是占据在全连接层的，比如VGG，80%的参数都是来自最后的FC层。
权重衰退&丢弃法（dropout）
如何防止模型过拟合？
* 让模型变得简单：丢弃法
* 让权重不要太大：权重衰退（权重不要那么大，就不会学习的那么激烈）
权重衰退和dropout都是防止过拟合的手段，能够一定程度上提升模型的表现效果。
什么是范数？
非正式地说，一个向量的范数告诉我们一个向量有多大。
在线性代数中，向量范数是将向量映射到标量的函数f。
常用的范数有 L1，L2（默认 欧氏距离就是L2范数）
L1范数:它表示为向量元素的绝对值之和。
L2范数：假设n维向量x中的元素是x1,…,xn，其L2范数是向量元素平方和的平方根。
损失函数（目标函数）
损失函数：用来评估模型的预测值和真实值的不一致程度。
目标函数 = 损失函数（经验风险最小） + 正则化（结构风险最小）
L0，L1，L2正则化（范数约束/正则项/惩罚项）
L0：参数中取值为0的个数（参数的0越多，表示模型越简单）
L1：所有数的绝对值相加
L2：所有数平方相加开根号（距离）
L0是没有办法求导的，所以有了L1，L1是对L0的线性逼近。
L2是对L1的凸优化
L0、L1可以实现参数稀疏，模型稀疏的话泛化能力会更好
什么是似然？
什么是似然？我们在学习概率统计的时候经常会去区分两个概念，就是概率和似然。
* 概率通常是一个统计上的概念，某一个事件出现的频次
* 似然是在已知结果的情况下，反推产生这些结果的原因（在深度学习中这些原因就是我们要进行学习的参数）
损失函数
分类任务：交叉熵损失函数
回归任务：L1、L2、smooth L1（一般都是选择smooth L1作为回归任务的损失函数）
卷积神经网络中的设计标配
激活函数：ReLU
FC+d
LeNet
LeNet应用于一个十分类问题（手写数字识别 mnist）。
从LeNet可以看到分类任务的大概思路。
图片输入，经过（conv，pooling），在经过全连接层（FC n分类就n维），最后经过softmax，得到一个$[0,1]$的概率值。
AlexNet
2012年显卡的显存还是有限的，网络模型图中给出的两个分支，表示使用两张显卡进行分布式训练。
* conv-relu-pooling-LRN
网络图所示，图片经过多轮卷积，$11*11,5*5,3*3,3*3,3*3$，AlexNet在设计的时候，每一个卷积之后，都会配有relu,pooling,LRN三个层。
relu 增加非线性能力
pooling 下采样，增大图像感受野，对图像进一步提取
LRN 归一化，将数据约束在一定
* fc-rule-dropout
在经过两个fc层，后面跟着rule和dropout，因为fc层的参数量非常大，所以这里要使用dropout层进行一些参数的删除（置零）。
* fc-softmax
最终将特征映射到一个1000维的向量上。
最终训练出来的参数在60M以上，整个模型大小在200M以上。
* ReLU激活函数
ReLU激活函数相对于其他的激活函数，能实现一个更快的计算速度，并且在x大于0时，不会出现梯度消失这样的问题。
ReLU也成了后面我们设计卷积神经网络的一个标配。
* Dropout层
FC+Dropout层是标配，dropout可以减少过拟合的风险，因为FC中存在过多的参数，通过dropout能够对FC的参数进行约束。
* LRN层
后面研究发现LRN层其实没有多大作用，现在基本已经被弃用了，现在使用的最多的是BN层。
ZFNet
ZFNet对于AlexNet并没有多大的改进，只是对AlexNet进行了一些细致的调整。ZFNet的最大贡献是对卷积网络为什么有效进行了分析。
ZFNet中提出的几点结论，是非常有普适性的。
ZFNet将特征进行可视化展示，具体是如何实现呢？上图的右边是正常卷积网的一个数据流向，对于我们最终下采样拿到的一个图片，我们该如何还原成最初的图片呢？实际上如果想进行百分百的还原，这是不可能的，因为经过激活层和pooling层的时候，会对图像造成不可逆的破坏，因此这个还原只是对特征高层次的语义分析，具体是通过上采样和反卷积操作来完成的，最终得到与原始图像大小一致的特征图。
通过观察这些还原出来的特征图，作者总结出下面的结论
* 特征分层次体系结构
* 深层特征更鲁棒
* 深层特征更有区分度
* 深层特征收敛更慢
VGG
VGG
* 为了研究**网络深度**对模型准确度的影响，并采用小卷积堆叠的方式，来搭建整个网络结构
都是采用了$3*3$的小卷积。
* 参数量：138M；模型大小>500M
VGG的网络更大，对比参数量的大小和模型大小就可以知道。
上面的VGG示例图只列出了卷积的结构，实际上在卷积当中还会插入激活层和池化层。
上面列出了11层、13层、16层、19层（卷积层、FC层是需要进行参数训练的，池化层不需要训练）。
这里输入图像的大小是$224*224$，这个尺寸是对应ImageNet挑战赛图像分类任务的图像尺寸，这也是为什么我们在设计分类识别任务的时候采用$224*224$来设计和训练网络。我们想要使用ImageNet挑战赛上表现优秀的模型来进行模型迁移，那么就需要保证和训练的模型数据的一致性，所以在设计网络的时候会尽量保证尺寸为$224*224$。
VGG的特点
* 更深的网络结构，结构更加规整、简答
* 全部使用$3*3$的小型卷积核核$2*2$的最大池化层
不难发现一点，VGG的网络非常深，相比AlexNet，它的卷积是非常多的，另外可以发现这里的卷积核都是$3*3$的卷积核，没有大于$3*3$的卷积核。
小卷积核可以实现大卷积核的感受野范围，同时计算量会更小。
* 每次池化后Feature Map宽高降低一半，通道数量增加一倍
每次经过一个pooling层，channel的数量会乘2，保证提取的数量。
* 网络层数更多，结构更深，模型参数更大
VGG的意义
* 证明了更深的网络，能够提取更好的特征
* 成为后续很多网络的backbone
利用VGG来进行特征的提取，虽然VGG只在ImageNet挑战赛获得第二名，但是使用VGG提取出来的图像特征往往更有效。
这也是为什么VGG也成为后续很多网络的主干网络。
* 规范化了后续网络设计的思路
VGG也规范了后面网络的设计思路，后续的网络设计基本都是非常的规整。
基本都有一个最小的结构单元，然后在这个单元上进行堆叠。
还有就是一个默认：每次下采样过后，channel的数量也会相应的增加。
GoogLeNet/Inception
Inception结构，**在设计网络结构时，不仅强调网络的深度，也会考虑网络的宽度**。
网中网的结构，也就是Inception结构。
Inception结构在后面设计网络结构的时候也是经常会被用到的一个网络结构。
Inception提出后，Google也进行了一系列的改进，提出v2、v3..
更多的卷积：网络的宽度（channel数量）
更深的层次：网络的深度
为什么GoogleNet的网路深度很深，宽度也很宽，可最终的参数量却很小呢？主要就是有效的利用了$1*1$的卷积核。
GoogoLeNet最大的启示就是教会我们如何巧妙的利用$1*1$的卷积核。
理解为什么什么$1*1$的卷积核可以实现降维？
这个就是卷积运算本身的内容，卷积核的channel是多少，那么最后的结果是把每个channel进行相加。
也就是如果输入$28*28*192$经过一个$1*1*64$的卷积核后，尺寸会变成$28*28*3$。
GoogLeNet的特点
* 更深的网络结构，同时考虑了网络的宽度
GoogLeNet在设计的时候不仅考虑网络的深度，也考虑的网络的宽度。
* 两个LOSS层，降低过拟合风险
* 巧妙地利用$1*1$的卷积核来进行通道降维，减小计算量
关于(1*1)卷积和stride=2
1*1卷积可以减少channel的数量，也可以理解成“全连接”，因为减少channel实际上就是让channel进行了线性堆叠
stride=2不仅可以减少当前卷积层的计算量，而且可以替换了池化层，因为池化层丢弃的参数会更多。 但是每层卷积都是有参数的，这样计算量会增大不少。
从卷积角度思考，如何减少网络中的计算量？
从GoogleNet中，可以总结出下面几个结论，来减少卷积网络中的计算量。
* 小卷积核来对大卷积核进行拆分
对于$5*5$和$7*7$这样的大卷积核（不可能比7更大），最多只会使用再输入层，因为原始图片输入channel为3，那么channel为3的计算量还是很小的，但是后续的channel的可能是32、64、128，这就是非常大一个channel数量。
后面一般都是采用$3*3$或$1*1$的卷积核，不太会采用其他的大小的卷积核。像类似$1*3$和$3*1$也很少使用，只用在Inception中使用了。
* stride=2代替pooling层
stride=2可以直接降低当前卷积层的计算量。
* 巧妙地利用$1*1$的卷积核来进行降维
$1*1$卷积核可以帮助减少channel的数量。
我们在设计卷积的时候，要压缩网络的时候，就可以从上面的点来进行考虑。
关于深层网络梯度爆炸和梯度消失的理解
BP算法求梯度，是一个一个导数相乘的 x*x*x*... 这里可以抽象为 x^n
如果 x>1 n->∞， 那么 x->∞ 梯度爆炸
如果 x<1 n->∞， 那么 x->0 梯度消失
ResNet
ResNet引入跳连结构来防止梯度消失问题，可以进一步加大网络的深度。
ResNet也是后面许多网络结构作为主干网络进行特征提取的首选。
VGG最多有19层，ResNet可以达到上百层。为什么ResNet的网络结构可以这么深呢？因为引入了跳连的结构。
这种跳连结构直接将输入层的特征传递到输出层，然后和卷积之后的结果进行相加，最后可以得到一个结合了原始输入特征的输出特征。
在网络加入这样跳连的线，实际上并没有增加参数量，虽然网络结构发生了变化，但是网络的参数量是没有发生变化的，这也是跳连结构的一个优点。
ResNet在设计的时候同样采用卷积堆叠的方式，但是不再是串联，而是这种带有跳连的结构来作为核心单元。然后网络使用这样的单元来进行堆叠。
输入使用$7*7$的卷积核，由于初始channel为3，问题不大。可以发现后面深层一点的卷积核都是$1*1$和$3*3$的。
ResNet在最后分类的时候，采用的不是FC，而是average pool。VGG的80%的参数集中在FC层，使用一个池化层来替换掉FC层，会减少很多的参数量，因为池化层本身是没有参数的。
对于像50、101、152层的ResNet，其中还采用了$1*1$的卷积核来减少计算量，整个还是可以接受的。
上图有给出网络需要的计算量FLOPs。
还有就是ResNet对缓存有要求，如下图，从A->C不是直接串联下来的，而是需要把A先进行缓存，如果feature map比较大或channel比较多，对机器的缓存就有要求。
ResNet的设计点
如下图，输入的特征为x，输出特征为$H(x)=f(x)+x$
也就是，即使没有$f(x)$，那么$H(x)$也有x作为保底。
* 核心单元简单堆叠
* 跳连结构解决网络梯度消失问题
* average pooling层代替FC层
* BN层加快网络训练速度和收敛时的稳定性
* 加大网络深度，提高模型特征提取能力
卷积中的attention
attention实际上就是一种加权的思想。