• 吴恩达《深度学习》第一门课(4)深层神经网络


    4.1深层神经网络

    (1)到底是深层还是浅层是一个相对的概念,不必太纠结,以下是一个四层的深度神经网络:

    (2)一些符号定义:

    a[0]=x(输入层也叫做第0层)

    L=4:表示网络的层数

    g:表示激活函数

    第l层输出用a[l],最终的输出用a[L]表示

    n[1]=5:表示第一层有五个神经元,第l层神经元个数用n[l]表示

    4.2前向传播和反向传播

    (1)前向传播:输入a[l-1],输出是a[l],缓存为z[l],步骤如下:(下面第一个式子应该是a[l-1]

    向量化:

    (2)反向传播:输入da[l],输出da[l-1],dw[l],db[l]

    (4)da[l-1]=w[l]T·dz[l]

    由第四个式子带入到第一各式子中得

    向量化:

     (3)总结:第一层可能是Relu激活函数,第二层为另一个Relu函数,第三层可能是sigmoid函数(如果做二分类的话),输出值为a[L],用来计算损失,这样就可以以向后迭代进行反向传播就到来求dw[3],db[3],dw[2],db[2],dw[1],db[1].在计算的时候,缓存会把z[1]z[2]z[3]传递过来,然后回传da[2],da[1],可以用来计算da[0],但是不会使用它。整个过程如下图所示

    4.3深层网络的前向传播

    (1)前向传播归纳为:

    向量化实现过程:

    4.4核对矩阵的维数

    (1)w的维度是(下一层的维数,上一层的维数),即w[l]:(n[l],n[l-1])

    (2)b的维度时(下一层的维数,1)

    (3)z[l],a[l]:(n[l],1)

    (4)dw[l]和w[l]维度相同,db[l]和b[l]维度相同,且w,b向量化维度不变,但z,a以及x的维度会向量化后发生改变。

    向量化后:

    Z[l]:(n[l],m),A[l]同Z[l]

    4.5为什么使用深层表示

    增加网络的深度比广度更有效。

    4.6搭建神经网络块

    (1)针对一层的正向和反向传播:

    (2)整个过程示意图:

    4.7参数VS超参数

    (1)W,b是参数

    (2)学习率、迭代次数、层数、每层的单元数、momentum、mini batch size、regularization perameters等能影响W、b的都称为超参数,超参数的选择需要不断尝试和靠经验,以及一些策略。

    4.8深度学习和大脑的关联性

    深度学习和大脑其实没什么直接关系。

  • 相关阅读:
    智器SmartQ T7实体店试用体验
    BI笔记之SSAS库Process的几种方案
    PowerTip of the Day from powershell.com上周汇总(八)
    PowerTip of the Day2010071420100716 summary
    PowerTip of the Day from powershell.com上周汇总(十)
    PowerTip of the Day from powershell.com上周汇总(六)
    重新整理Cellset转Datatable
    自动加密web.config配置节批处理
    与DotNet数据对象结合的自定义数据对象设计 (二) 数据集合与DataTable
    在VS2003中以ClassLibrary工程的方式管理Web工程.
  • 原文地址:https://www.cnblogs.com/henuliulei/p/11361200.html
Copyright © 2020-2023  润新知