• 第五节课-神经网络2


    2017-08-15

    这节课个人感觉没有怎么听懂,大概主要讲了一下几个点:

    神经网络的历史、激活函数之间的优缺点对比、数据的预处理、权重的初始化注意事项、正则化、学习过程种的监督(学习率)、超参数的优化

    1.历史:

    从最早的二元分类器感知机,到后面的多层感知机,神将网络,再到后面的改个名字深度学习。2012Hinton的CNN在ImageNet获得第一名,深度学习又一次火了起来;

    2.激活函数:

    主要有 Sigmoid, tanh, ReLu, leak-ReLu, ELu

    各有各的优缺点,现在一般用ReLu比较好,不用Sigmoid因为他的题都消失问题,阻碍了梯度再网络中的传播,还有输出不是以0为中心,为什么不好我也不知道;

    tanh就是再sigmoid函数的基础上变化过来的,除了输出以0为中心,其他的缺点他也有;

    ReLu收敛速度快, f(x) = max(0, x) 但是也不输出不是以0为中心;

    3.数据预处理:

    这里对于图片而言,主要是抽取平均值;

    3.权重初始化:

    不能初始化为0,这样所有的神经元会产生相同的输出,使得不能发挥它们的各自的作用;要用其他的方法打破这种对称型;

    4.正则化:

    一般是L1正则化,L2正则化;

    5.学习率:

    主要体现再学习率太低,loss几乎不变,太高的话loss为nan

    6.没看懂再干啥;

  • 相关阅读:
    C# 检测dll的新版本号方法
    DataGridView 单击赋值
    一致性Hash算法
    .net Parallel并行使用注意事项
    析构函数和Dispose方法的区别
    查看SQLServer的最大连接数
    Hash算法-CityHash算法
    Hash算法
    Sunday算法--C#版
    KMP算法--C#版
  • 原文地址:https://www.cnblogs.com/robin2ML/p/7365589.html
Copyright © 2020-2023  润新知