神经网络(NN)复杂度:
神经网络(NN)复杂度:多用层数和NN参数的个数表示
空间复杂度:
层数 = 隐藏层的层数+1个输出层
总参数 = 总W+总b
图:3X4+4(第1层) + 4X2+2(第2层) = 26
事件复杂度:
乘加运算次数
图: 3X4(第1层) + 4X2(第2层) = 20
输入层与输出层之间所有层都叫隐藏层。
找到学习率的最优解,可以先用较大的学习率,快速找到较优解,然后逐步减小学习率,使模型在训练后期稳定。
神经网络(NN)复杂度:
神经网络(NN)复杂度:多用层数和NN参数的个数表示
空间复杂度:
层数 = 隐藏层的层数+1个输出层
总参数 = 总W+总b
图:3X4+4(第1层) + 4X2+2(第2层) = 26
事件复杂度:
乘加运算次数
图: 3X4(第1层) + 4X2(第2层) = 20
输入层与输出层之间所有层都叫隐藏层。
找到学习率的最优解,可以先用较大的学习率,快速找到较优解,然后逐步减小学习率,使模型在训练后期稳定。