CNN训练算法
同一般机器学习算法,先定义Loss function,衡量和实际结果之间差距。找到最小化损失函数的W和b,CNN中用的算法是SGD。SGD需要计算W和b的偏导,即使用链式法则。
梯度下降算法
1)标准梯度下降法:
标准梯度下降先计算所有样本汇总误差,然后根据总误差来更新权值
2)随机梯度下降法:
随机梯度下降随机抽取一个样本来计算误差,然后更新权值
3)批量梯度下降法:
批量梯度下降算是一种折中的方案,从总样本中选取一个批次(比如一共有10000个样本,随机选取100个样本作为一个batch),然后计算这个batch的总误差,根据总误差来更新权值。
卷积神经网络优缺点:
1)优点
共享卷积核,对高维数据处理无压力
无需手动选取特征,训练好权重,即得特征
深层次的网络抽取图像信息丰富,表达效果好
2)缺点
需要调参,需要大样本量,训练最好要 GPU
物理含义不明确
正则化(Dropout)
神经⽹网络学习能⼒力强可能会过拟合
Dropout( 随机失活) ) 正则化:按一定的概率值随机失活一些连接权重值。