什么是模式识别
模式识别：根据已有知识的表达，针对待识别模式，判别其决策所属的类别或者预测其对应的回归值。
分类：输出量是离散的类型表达，即输出待识别模式所属的类别。
回归：输出量是单个/多个维度的连续信号表达（回归值）。
回归是分类的基础：离散的类别值是由回归值做判别决策得到的。
模式识别数学表达
数学解释：模式识别可以看作一种函数映射f(x)，将待识别模式 x 从输入空间映射到输出空间。
输入空间：原始输入数据 x 所在的空间，空间维度：输入数据的维度
输出空间：输出的类别/回归值y所在的空间，空间维度：1维、类别的个数、回归值维度
特征向量：
特征向量的相关性
欧式距离：
机器学习基本概念
模型的参数和结构：
线性模型：
非线性模型：
样本量 vs 模型参数量
- 训练样本个数 = 模型参数个数 ：参数有唯一解
- 训练样本个数 > 模型参数个数 ：没有准确的解
- 训练样本个数 < 模型参数个数 ：无数个解/无解
目标函数：以待学习的模型参数作为自变量，以训练样本作为给定量的函数。
优化算法：
机器学习流程示意图：
监督式学习：
无监督式学习：
模型的泛化能力
训练集：模型训练所用的样本数据。
测试集：测试模型性能所用的样本数据。
误差：模型给出的预测/决策输出与真值之间的差异。
训练误差：模型在训练集上的误差。
测试误差：模型在测试集上的误差。它反映了模型的泛化能力，也称作泛化误差。
过拟合：模型训练阶段表现很好，但是在测试阶段表现很差。
评估方法和性能指标
留出法：
二分类问题性能指标：
