• 02深度学习概述


    深度学习概述从万有逼近定律开始

    02 - 深度学习概述[01-00-37][20201017-23402085]

    02 - 深度学习概述[01-01-51][20201017-234203369]

    神经网络每一层作用

    02 - 深度学习概述[01-05-59][20201017-234651837]

    神经网络瘦高(层数多)矮胖(层数少节点多)好?

    实验数据支持第一个

    深度和宽度对于函数复杂度的贡献不同

    深层问题:梯度消失

    02 - 深度学习概述[01-37-32][20201018-010440668]


    多层神经网络可以看成一个复合的非线性多元神经网络

    误差反向传播 利用梯度

    梯度:多元函数在每个点有多个方向,每个方向都有方向导数,梯度 向量 方向为最大方向导数的方向 模 最大方向导数的值

    参数优化:梯度下降

    沿负梯度方向更新参数可以使函数值下降02 - 深度学习概述[01-29-51][20201018-005208492]

    学习使用pytorch深度学习开发框架


    逐层预训练

    局部最小值、梯度消失解决方法 选择一个比较好的初始点

    实现方法:受限玻尔兹曼机和自编码器

    自编码器:02 - 深度学习概述[01-52-10][20201018-012541778]

    02 - 深度学习概述[01-53-15][20201018-012640419]

    最初用于降维 后来有堆叠自编码器

    image-20201018012914602

    自编码器r层编码,r层解码

    02 - 深度学习概述[01-55-47][20201018-013220948]

    BP算法全称叫作误差反向传播(error Back Propagation,或者也叫作误差逆传播)算法。其算法基本思想为:输入信号经输入层输入,通过隐层计算由输出层输出,输出值与标记值比较,若有误差,将误差反向由输出层向输入层传播,在这个过程中,利用梯度下降算法对神经元权值进行调整。

    受限玻尔兹曼机(RBM)

    两层神经网络(可见层v、隐藏层h) 二分图

    没有显式重构过程

    输入v,通过p(h|v)得到隐藏层h;输入h,通过p(v|h)得到v

    玻尔兹曼来自于能量分布,通过能量分布定义联合分布

    02 - 深度学习概述[02-03-52][20201018-015234649]

    02 - 深度学习概述[02-05-07][20201018-015403605]

    02 - 深度学习概述[02-05-48][20201018-015852931]


    02 - 深度学习概述[02-07-27][20201018-020125164]


    02 - 深度学习概述[02-09-43][20201018-020333965]

    02 - 深度学习概述[02-11-59][20201018-020513457]

  • 相关阅读:
    Android开发系列之ListView用法
    自省
    fake feeling ?
    我心中的天使
    2020.6.16
    python面试题
    tcp
    Short + skip + limit
    01_pyttsx3_将文本文字转为语音播放
    mongo_Linux下不进入数据库查数据
  • 原文地址:https://www.cnblogs.com/gu-qiu/p/13833331.html
Copyright © 2020-2023  润新知