Deep Learning 学习笔记（6）：神经网络( Neural Network )

Deep Learning 学习笔记（6）：神经网络( Neural Network )

神经元：

在神经网络的模型中，神经元可以表示如下

神经元的左边是其输入，包括变量x1、x2、x3与常数项1，

右边是神经元的输出

神经元的输出函数被称为激活函数（activation function），输出值被称为激活值（activation value）。

激活函数有很多种，其中最简单的莫过于sigmoid函数。

除非特别声明，否则博客里提及的激活函数均为sigmoid

神经网络：

多个神经元首尾相连连接成神经网络（Neural Network），可以表示如下：

尽管生物体中神经云之间的连接会更加复杂，

在常用的模型中，神经元的连接要遵循一定规则，

简单地来说就是要分层：上一层神经元的输出作为下一层的输入，

两层之间单向传递，没有反馈

同层之间的神经元没有交流。

下面我们来描述一下这个模型 :

神经网络 $extstyle {n}_l$ 来表示网络的层数，

其中最左边的叫做出入层，最右边的称为输出层，中间的层被称为隐藏层

隐藏层的借点成为隐藏节点。隐藏层的数量为网络的“深度”

我们将第 $extstyle l$ 层记为 $extstyle L_l$ ，于是 $extstyle L_1$ 是输入层，输出层是 $extstyle L_{n_l}$ 。

本例神经网络有参数 $extstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})$ ，

其中， $extstyle W^{(l)}_{ij}$ （下面的式子中用到）是第 $extstyle l$ 层第 $extstyle j$ 单元与第 $extstyle l+1$ 层第 $extstyle i$ 单元之间的联接参数（权重，注意标号顺序），

$extstyle b^{(l)}_i$ 是第 $extstyle l+1$ 层第 $extstyle i$ 单元的偏置项。

因此在本例中， $extstyle W^{(1)} in Re^{3 imes 3}$ ， $extstyle W^{(2)} in Re^{1 imes 3}$ 。

注意，即偏置单元没有输入

$extstyle s_l$ 表示第 $extstyle l$ 层的节点数，偏置单元不计在内

神经网络的计算：

用 $extstyle a^{(l)}_i$ 表示第 $extstyle l$ 层第 $extstyle i$ 单元的激活值（输出值），当 $extstyle l=1$ 时， $extstyle a^{(1)}_i = x_i$

$extstyle z^{(l)}_i$ 表示第 $extstyle l$ 层第 $extstyle i$ 单元输入加权和（包括偏置单元）

于是， $extstyle h_{W,b}(x)$ 可以按如下方法计算

$egin{align} a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)}) \ a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)}) \ a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)}) \ h_{W,b}(x) &= a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) end{align}$

计算过程可以用向量运算简化

这种由输入求输出，从左向右计算的算法，叫做前向传播算法

于是乎这种神经网络也叫做前馈神经网络

（完)
相关阅读:
调用微信扫一扫接口
 Http错误代码解释
 php goto的用法
 Yii2.0-生成二维码实例
 飞鹅WiFi打印机配置，php调用接口
 HTML5 为什么只需要写 <!DOCTYPE HTML>？
VueJs之 v-bind
react 组件导出
 前端代码规范
 git与github的文件推送
原文地址：https://www.cnblogs.com/Ponys/p/3310071.html

Deep Learning 学习笔记（6）：神经网络( Neural Network )

神经元：

神经网络：

神经网络的计算：