大三寒假学习进度（5）

神经网络优化过程

1. 预备知识

• tf.where(条件语句，真返回A，假返回B)

tf.where() 条件语句真返回A，条件语句假返回B

• np.random.RandomState.rand(维度)

返回一个[0,1)之间的随机数

• np.vstack(数组1，数组2)

将两个数组按垂直方向叠加

• np.mgrid[起始值：结束值：步长，起始值：结束值：步长，···]

返回若干组维度相同的等差数组

• x.ravel()

将x变成一维数组，“把 . 前变量拉直”

• np.c_[数组1，数组2，···]

使返回的间隔数值点配对

2. 神经网络（NN）复杂度

NN复杂度：多用NN层数和NN参数的个数表示

1. 空间复杂度：用神经网络层数和神经网络中待优化参数的个数表示

   ---

   • 层数 = 隐藏的层数+1个输出层（输入层没有运算，不计入）
   • 总参数 = 总w+总b

2. 时间复杂度：用神经网络中乘加运算的次数表时

   ---

   • 有几条权重线就有几次乘加运算

w和b的个数是按照下图所示求得

3. 学习率

• lr为学习率，表征了参数更新的幅度

  学习率过小，参数w更新过慢

  学习率过大，参数w不收敛

  可以用指数衰减学习率找到合适的学习率