0、选择一个神经网络结构
1、随机参数初始化
2、运用向前传播算法计算每个x的对应的输出值y。
3、运用代码计算出代价函数J(theta)。
4、运用反向传播算法计算代价函数J(theta)关于theta的偏导数。
5、运用梯度检验把反向传播算法得到的偏导数与数据估计值进行比较。并注意在程序中停用梯度检验算法(因为会降低程序效率)。
6、运用优化算法(比如梯度下降)和反向传播算法结合,求出使代价函数J(theta)值最小的参数theta。
0、选择一个神经网络结构
1、随机参数初始化
2、运用向前传播算法计算每个x的对应的输出值y。
3、运用代码计算出代价函数J(theta)。
4、运用反向传播算法计算代价函数J(theta)关于theta的偏导数。
5、运用梯度检验把反向传播算法得到的偏导数与数据估计值进行比较。并注意在程序中停用梯度检验算法(因为会降低程序效率)。
6、运用优化算法(比如梯度下降)和反向传播算法结合,求出使代价函数J(theta)值最小的参数theta。