1、卷积神经网络中卷积的核心意义是什么?
每一组卷集核 权重是一个抽特征的滤波器, 从卷集核的角度抽取特征
2、卷积神经网络很好的特性参数共享机制
每一个神经元固定一组a x b x c(图像的通道数) 的参数w ,因此每一层网络的参数是 a x b x c x depth(神经元个数);a x b 代表卷集核比如(3 x 3);相比全连接的DNN 参数 w x h x c x depth 降低很多;
例如:4 x 4 x 3 x 10(CNN) 418 x 418 x 3 x 10(DNN)
3、卷积:一组固 定的权重和不同窗口内数据做内积(对应位置相乘再求和)
4、激励层:卷积层的输出做一个非线性的映射(逐点做运算)
CNN慎用sigmoid , 首先试RELU ,因为计算很快,如果RELU失效,请用Leaky RELU或者Maxout,某些情况下tanh也会有不错的效果,但是很少。
不同的激活函数对loss影响可能不是很大,对收敛的速度会有一些差异
5、在图像识别任务中, 卷积神经网络中,maxpooling效果比averagepooling好一些 ,通常是放在连续的几个卷积层之间, pooling层的过程是降维的过程主要用来降低过拟合的风险,一个模糊化的过程,同时可以降低参数数量降低网络计算的复杂度。