神经网络
人工神经网络（英语：Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：
- 结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。
- 激励函数（Activity Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。
- 学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激发。在激励值被加权并通过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。这个过程不断重复，直到输出神经元被激发。最后，输出神经元的激励值决定了识别出来的是哪个字母。
—————来自维基百科
非线性假设（Non-linear hypotheses)
神经网络是一种古老的算法。早期的神经网络之所以没有被人关注，因为当时的计算机运行速度不行。现在神经网络可用于处理大规模数据的机器学习。
神经元与大脑(Neurons and the brain)
神经网络的起源与发展历程
模型展示1(Model representation)
树突(Dendrite)：input作用，接收来自其他神经元的信息。
轴突(Axon)：output作用，给其他神经元传递信号或者传递信息。
神经元(Neuron)：神经元是一个计算单元，它从输入通道接收一定数目的信息，并做一定的计算，然后结果通过它的轴突传送到其他节点，或者大脑中的其他神经元。
神经网络中，第一层为输入层，最后一层为输出层，中间的层次都叫隐藏层，可以有不止一个隐藏层。
神经网络其实是一组神经元链接在一起的集合。激活项：由一个具体神经元计算并输出的值。
模型展示2(Model representation)
前向传播：输入层——隐藏层——输出层
多元分类(Multi-class classfication)
多元分类，即具有多个输出单元
