• 神经网络,神经网络模型


    概述

    以监督学习为例,假设我们有训练样本集(x(i),y(i)),那么神经网络算法能够提供一种复杂且非线性的的假设模型hw,b(x),它具有参数W,b,可以以此参数来拟合我们的数据。

    为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个神经元的图示:

    这个“神经元”是一个以x1,x2,x3及截距+1为输入值的运算单元,其输出为

    	extstyle  h_{W,b}(x) = f(W^Tx) = f(sum_{i=1}^3 W_{i}x_i +b)

    其中函数 	extstyle f : Re mapsto Re 被称为“激活函数”。在本教程中,我们选择sigmoid函数作为激活函数f(.)                      
f(z) = frac{1}{1+exp(-z)}.

    可以看出,这个单一“神经元”的输入——输出映射关系其实就是一个逻辑回归(logistic regression).

    虽然本系列教程采用sigmoid函数,但你也可以选择双曲正切函数(tanh):

    
f(z) = 	anh(z) = frac{e^z - e^{-z}}{e^z + e^{-z}},

    以下分别是sigmoid及tanh的函数图像

    Sigmoid activation function.Tanh activation function.

    	extstyle 	anh(z) 函数是sigmoid函数的一种变体,它的取值范围为 	extstyle [-1,1] ,而不是sigmoid函数的 	extstyle [0,1]

    最后要说明的是,有一个等式我们以后会经常用到:如果选择 	extstyle f(z) = 1/(1+exp(-z)) ,也就是sigmoid函数,那么它的导数就是 	extstyle f'(z) = f(z) (1-f(z)) (如果选择tanh函数,那它的导数就是 	extstyle f'(z) = 1- (f(z))^2 ,你可以根据sigmoid(或tanh)函数的定义自行推导这个等式。

    神经网络模型

    所谓神经网络就是将许多个单一“神经元”联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入。例如,下图就是一个简单的神经网络:

    Network331.png
    我们使用圆圈来表示神经网络的输入,标上“	extstyle +1”的圆圈被称为偏置节点,也就是截距项。神经网络最左边的一层叫做输入层,最右的一层叫做输出层(本例中,输出层只有一个节点)。中间所有节点组成的一层叫做隐藏层,因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有3个输入单元(偏置单元不计在内),3个隐藏单元及一个输出单元
         我们用 	extstyle {n}_l 来表示网络的层数,本例中 	extstyle n_l=3 ,我们将第 	extstyle l 层记为 	extstyle L_l ,于是 	extstyle L_1 是输入层,输出层是 	extstyle L_{n_l}
         本例神经网络有参数 	extstyle (W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})其中 	extstyle W^{(l)}_{ij} (下面的式子中用到)是第 	extstyle l 层第 	extstyle j 单元与第 	extstyle l+1 层第 	extstyle i 单元之间的联接参数(其实就是连接线上的权重,注意标号顺序), 	extstyle b^{(l)}_i 是第 	extstyle l+1 层第 	extstyle i 单元的偏置项。因此在本例中, 	extstyle W^{(1)} in Re^{3	imes 3}	extstyle W^{(2)} in Re^{1	imes 3}

         注意:没有其他单元连向偏置单元(即偏置单元没有输入),因为它们总是输出+1.同时。同时,我们用 	extstyle s_l 表示第 	extstyle l 层的节点数(偏置单元不计在内)。

         我们用 	extstyle a^{(l)}_i 表示第 	extstyle l 层第 	extstyle i 单元的激活值(输出值)。当 	extstyle l=1 时, 	extstyle a^{(1)}_i = x_i ,也就是第 	extstyle i 个输入值(输入值的第 	extstyle i 个特征)。对于给定参数集合 	extstyle W,b ,我们的神经网络就可以按照函数 	extstyle h_{W,b}(x) 来计算输出结果。本例神经网络的计算步骤如下:

     
egin{align}
a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)})  \
a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)})  \
a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)})  \
h_{W,b}(x) &= a_1^{(3)} =  f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) 
end{align}
    我们用 	extstyle z^{(l)}_i 表示第 	extstyle l 层第 	extstyle i 单元输入加权和(包括偏置单元),比如, 	extstyle  z_i^{(2)} = sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i ,则 	extstyle a^{(l)}_i = f(z^{(l)}_i) 。 。
    这样我们就可以得到一种更简洁的表示法。这里我们将激活函数f(.)扩展为用向量(分量的形式)来表示,即 	extstyle f([z_1, z_2, z_3]) = [f(z_1), f(z_2), f(z_3)] ,那么,上面的等式可以更简洁地表示为:
    egin{align}
z^{(2)} &= W^{(1)} x + b^{(1)} \
a^{(2)} &= f(z^{(2)}) \
z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \
h_{W,b}(x) &= a^{(3)} = f(z^{(3)})
end{align}
    我们将上面的计算步骤叫作前向传播。回想一下,之前我们用	extstyle a^{(1)} = x 表示输入层的激活值,那么给定第 	extstyle l 层的激活值 	extstyle a^{(l)} 后,第 	extstyle l+1 层的激活值 	extstyle a^{(l+1)} 就可以按照下面步骤计算得到:
     egin{align}
z^{(l+1)} &= W^{(l)} a^{(l)} + b^{(l)}   \
a^{(l+1)} &= f(z^{(l+1)})
end{align}

    将参数矩阵化,使用矩阵-向量运算方式,我们就可以利用线性代数的优势对神经网络进行快速求解。 

     目前为止,我们讨论了一种神经网络,我们也可以构建另一种结构的神经网络(这里结构指的是神经元之间的联结模式),也就是包含多个隐藏层的神经网络。最常见的一个例子是 	extstyle  n_l 层的神经网络,第 	extstyle  1 层是输入层,第 	extstyle  n_l 层是输出层,中间的每个层 	extstyle  l 与层 	extstyle  l+1 紧密相联。这种模式下,要计算神经网络的输出结果,我们可以按照之前描述的等式,按部就班,进行前向传播,逐一计算第 	extstyle  L_2 层的所有激活值,然后是第 	extstyle  L_3 层的激活值,以此类推,直到第 	extstyle  L_{n_l} 层。这是一个前馈神经网络的例子,因为这种联接图没有闭环或回路。

     神经网络也可以有多个输出单元。比如,下面的神经网络有两个隐藏层:	extstyle L_2	extstyle L_3 ,输出层 	extstyle L_4 有两个输出单元。

    Network3322.png
    要求解这样的神经网络,需要样本集 	extstyle (x^{(i)}, y^{(i)}) ,其中 	extstyle y^{(i)} in Re^2 。如果你想预测的输出是多个的,那这种神经网络很适用。(比如,在医疗诊断应用中,患者的体征指标就可以作为向量的输入值,而不同的输出值 	extstyle y_i 可以表示不同的疾病存在与否。)
     
    中英文对照:
    neural networks 神经网络
    activation function 激活函数
    hyperbolic tangent 双曲正切函数
    bias units 偏置项
    activation 激活值
    forward propagation 前向传播
    feedforward neural network 前馈神经网络
     
     
     
     
     
     
     
     
  • 相关阅读:
    Django学习-9-ORM多对多操作
    Django学习-8-模板渲染的一些特性
    Django学习-7-ORM操作
    Django学习-6-路由系统
    Hadoop 知识
    最全的Spark基础知识解答
    windows server 2008 R2 远程连接用户数修改
    Windows 2008 R2 SP1部署WSUS 3.0 SP2
    Windows Server2008 R2 设置NAT 让Hyper-V连接Internet
    免费好用的Microsoft iSCSI Software Target 3.3
  • 原文地址:https://www.cnblogs.com/rong86/p/3518140.html
Copyright © 2020-2023  润新知