贝叶斯误差bayes error
Even the best predictor will sometimes be wrong. Imagine predicting height based on gender. If you had the best predictor available you would still incur error because height
does not depend solely on gender. The best predictor is typically called the Bayes predictor.
我理解为固有误差。
泛化误差generalization error
一个描述学生机器在从样品数据中学习之后，离教师机器之间的差距的函数。使用这个名字是因为这个函数表明一个机器的推理能力，即从样品数据中推导出的规则能够适用于新的数据的能力。
当train出来一个model之后，parameters已经定了下来。然后用test dataset去test这个network。 泛化误差就是test的时候的误差。
泛化误差可分为近似误差和估计误差，如下。
近似误差approximation error
最小的泛化误差。近似误差不依赖于样本的大小，而是由类所决定。
估计误差estimation error
估计误差 = | 最小的测试误差 - 最小的训练误差 |
其中最小的测试误差 = 近似误差
测试误差 = 泛化误差
举例
kNN邻近算法中提到，k值越小，选择的范围就比较小，训练的时候命中率较高，近似误差小，而用test的时候就容易出错，估计误差大，容易过拟合。
k值越大，选择的范围就越大，近似误差大，估计误差小。模型变得简单。
参考：http://stats.stackexchange.com/questions/87750/what-does-the-term-estimation-error-mean