2017-08-15
这节课个人感觉没有怎么听懂,大概主要讲了一下几个点:
神经网络的历史、激活函数之间的优缺点对比、数据的预处理、权重的初始化注意事项、正则化、学习过程种的监督(学习率)、超参数的优化
1.历史:
从最早的二元分类器感知机,到后面的多层感知机,神将网络,再到后面的改个名字深度学习。2012Hinton的CNN在ImageNet获得第一名,深度学习又一次火了起来;
2.激活函数:
主要有 Sigmoid, tanh, ReLu, leak-ReLu, ELu
各有各的优缺点,现在一般用ReLu比较好,不用Sigmoid因为他的题都消失问题,阻碍了梯度再网络中的传播,还有输出不是以0为中心,为什么不好我也不知道;
tanh就是再sigmoid函数的基础上变化过来的,除了输出以0为中心,其他的缺点他也有;
ReLu收敛速度快, f(x) = max(0, x) 但是也不输出不是以0为中心;
3.数据预处理:
这里对于图片而言,主要是抽取平均值;
3.权重初始化:
不能初始化为0,这样所有的神经元会产生相同的输出,使得不能发挥它们的各自的作用;要用其他的方法打破这种对称型;
4.正则化:
一般是L1正则化,L2正则化;
5.学习率:
主要体现再学习率太低,loss几乎不变,太高的话loss为nan
6.没看懂再干啥;