• 《神经网络和深度学习》系列文章十二:Hadamard积,s⊙t


    出处: Michael Nielsen的《Neural Network and Deep Learning》,点击末尾“阅读原文”即可查看英文原文。

    本节译者:哈工大SCIR本科生 王宇轩

    声明:我们将在每周一周四 定期连载该书的中文翻译,如需转载请联系wechat_editors@ir.hit.edu.cn,未经授权不得转载。


    1. 使用神经网络识别手写数字

    2. 反向传播算法是如何工作的

      • 热身:一个基于矩阵的快速计算神经网络输出的方法

      • 关于损失函数的两个假设

      • Hadamard积

      • 反向传播背后的四个基本等式

      • 四个基本等式的证明(选读)

      • 反向传播算法

      • 什么时候反向传播算法高效

      • 反向传播算法再理解

    3. 改进神经网络的学习方法

    4. 神经网络能够计算任意函数的视觉证明

    5. 为什么深度神经网络的训练是困难的

    6. 深度学习

    反向传播算法是以常见线性代数操作为基础——诸如向量加法,向量与矩阵乘法等运算。但其中一个操作相对不是那么常用。具体来讲,假设s和t是两个有相同维数的向量。那么我们用s⊙t来表示两个向量的对应元素(elementwise)相乘。因此s⊙t的元素(s⊙t)j=sjtj。例如,


    这种对应元素相乘有时被称为Hadamard积(Hadamard product)Schur积(Schur product)。我们将称它为Hadamard积。优秀的矩阵库通常会提供Hadamard积的快速实现,这在实现反向传播时将会有用。

    下一节我们将介绍“反向传播背后的四个基本等式”,敬请关注!


      • “哈工大SCIR”公众号

      • 编辑部:郭江,李家琦,徐俊,李忠阳,俞霖霖

      • 本期编辑:俞霖霖

  • 相关阅读:
    C# XmlSerializer实现序列化浅析(转载)
    Direct3D学习(资料收集)
    幸福法则
    javascript中的keydown事件中的参数问题
    去除UTF8 BOM【转】
    JavaScript常用资料参考
    KCFinder CKEditor的文件管理器插件
    elFinder Web文件管理器
    用TcpTrace调试Web服务器
    Ubuntu 12.04如何登入root?
  • 原文地址:https://www.cnblogs.com/sdlypyzq/p/4971341.html
Copyright © 2020-2023  润新知