• NgDL:第四周深层神经网络


    4.3核对矩阵维数

    根据前向的矩阵,可以计算出右上的规律,对于第L层的w来说,其维数为(n[L],n[L-1]),n[L]表示第L层的单元数。

    4.4为什么深层神经网络会好用?

    如果要做一个人脸识别的系统:那么浅层的神经网络,进行特征识别或边缘探测,第一张图中的一个小方块就是一个神经单元?无法理解。比如说有个神经单元去找眼睛的部分,这样每个神经元就可以找脸部不同的部位,最后将这些部分放在一起。

    边缘探测中针对的都是比较小的,而到面部识别会针对较大的区域。金字塔形状的NN。

    Ng讲到了在语音识别上的一个应用:

    输入是一段音频,第一层神经网络可以探测比较低层次的音频波形特征,比如音调变高还是变低,然后可以去探测声音的基本单元(音位),cat中的“壳”就是一个音位,然后就可以识别单词,单词组合起来就是词组。

    到网络深层时就可以做更复杂的事情,比如检测脸部或者词组。

    对于电路和深度学习的结合的例子说明为什么深度网络效果好。

    假设要对输入特征计算异或,从x1 XOR....xn,如果画一个异或的树图,可建一个较深的异或树图,隐层数为log(n),就是一个二叉树的高度;

    如果不允许使用多层神经网络的话,只能使用一个隐层,那就需要考虑所有可能的组合,需要隐层单元数程指数式增长;(需要考虑所有的可能的结合情况?)

    4.7参数VS超参数

    参数:就是比如NN模型中的权重和偏执单元值。

    超参数:就是能控制参数的参数。比如学习率α,迭代次数,隐含层层数、隐含层中的单元数、激活函数的选择

    还有一些其他的超参数:momentum,minibatch size,正则化规则等。

     //头一次知道超参数的定义,原来是这样,不过另外的超参数还不太明白。

    这种公式表述的我还看不太懂,保留一下:

  • 相关阅读:
    Layui表格之动态添加数据(表格多选解决方案)
    Ztree勾选节点后取消勾选其父子节点
    如何判断某个元素在页面上是否存在
    Linux环境搭建SVN服务
    Linux环境下验证码不显示F12报500
    Ztree节点前加上两个自定义按钮
    解决window.location.href参数太长
    Ztree加载完成默认选中根节点右侧生成表格
    输入框点击下滑Ztree菜单
    Mybatis中and和or的细节处理
  • 原文地址:https://www.cnblogs.com/BlueBlueSea/p/10439419.html
Copyright © 2020-2023  润新知