1.点估计
点估计试图为一些感兴趣的量提供单个“最优”预测。
一个良好的估计量的话输出会接近生成的训练数据的真实性参数。
2.偏差、方差与标准差
偏差：偏离标准值得差值，
Bias measures how far off in general these models' predictions are from the correct value.
方差：一个随机变量的方差描述的是它的离散程度,
The variance is how much the predictions for a given point vary between different realizations of the model.
图引用的CSDN图片
方差与偏差窘境：
从图中我们可以看出，偏差和方差两者是有冲突的，称之为变差方差窘境（bias-variance dilemma）。
假如学习算法训练不足时，此时学习器的拟合能力不够强，此时数据的扰动不会对结果产生很大的影响（可以想象成由于训练的程度不够，此时学习器指学习到了一些所有的数据都有的一些特征），这个时候偏差主导了算法的泛化能力。随着训练的进行，学习器的拟合能力逐渐增强，偏差逐渐减小，但此时不同通过数据学习得到的学习器就可能会有较大的偏差，即此时的方差会主导模型的泛化能力。若学习进一步进行，学习器就可能学到数据集所独有的特征，而这些特征对于其它的数据是不适用的，这个时候就可能会发生过拟合。
http://scott.fortmann-roe.com/docs/BiasVariance.html
个人总结：
a.偏差，整体偏离均值（标准）的差值，主要考虑偏离中心的偏离程度。
b.方差与标准差，预测值之间的差异程度。