• Deep Learning系统实训之二:梯度下降原理


    基本概念理解:

    一个epoch:当前所有数据都跑(迭代)了一遍;

            那么两个epoch,就是把所有数据跑了两遍,三个epoch就是把所有数据跑了三遍,以此类推。

    batch_size:每次迭代多少个数据;(batch_size称作批处理, 它的作用可以理解为每次训练100个数据(在这里假设将其设置为100),找到最适合的优化方向,确保不偏离最优那个的方向)

    epoch 和 batch_size 的关系一个epoch值除以batch_size=迭代次数。

    例如:

    有50000个数据,那么一个epoch值就是50000。

    我们将batch_size的值设置为100。

    那么迭代次数就是50000除以100,等于500次。即在batch_size =100的情况下,跑完一个epoch需要迭代500次。

    神经网络是怎么如何参数更新的:

    三步:前向传播、反向传播、参数更新。

    反向传播例1:

    反向传播流程:

    反向传播例2:

    神经网络基础架构(建议不要去看生物学上的解释,单纯数学上的理解或更可取):

    再看这个图:

    ReLU函数:

    Drop-Out:

     

  • 相关阅读:
    java8
    Python isinstance()
    Python3 File next()
    np.array() 与 np.mat() 比较
    np.nonzero()
    np.dot()
    算法之归并排序的应用 —— 小和问题以及逆序对问题
    递归过程以及递归master公式
    算法之异或运算及其应用
    算法之二分法及其应用
  • 原文地址:https://www.cnblogs.com/ariel-dreamland/p/9035548.html
Copyright © 2020-2023  润新知