200927_深度学习---4、Where does the error come from（偏差和方差）
一、总结
一句话总结：
error due to "bias"（偏差） and error due to "variance"（方差）
1、简单函数（比如1次）和复杂函数（比如5次）得到的variance（方差）情况？
简单函数（比如1次）：Small Variance：y = b + w ∙ x_cp
复杂函数（比如5次）：Large Variance：y = b + w1 ∙ x_cp + w2 ∙ (x_cp)^2+ w3 ∙ (x_cp)^3 + w4 ∙ (x_cp)^4+ w5 ∙ (x_cp)^5
原因：Simpler model is less influenced by the sampled data
2、简单函数（比如1次）和复杂函数（比如5次）得到的bias（偏差）情况？
简单函数（比如1次）：Large Bias：y = b + w ∙ x_cp
复杂函数（比如5000次）：Small Bias：y = b + w1 ∙ x_cp + w2 ∙ (x_cp)^2+ w3 ∙ (x_cp)^3 + w4 ∙ (x_cp)^4+ w5 ∙ (x_cp)^5
原因解释1：越复杂的模型，拟合数据的能力肯定是越强的
原因解释2：简单模型的target范围很小，所以取数据只能在那一小块位置取，而复杂函数的target很大，取数的范围也很大
3、复杂函数和简单函数的bias和variance分析？
复杂函数：target大，拟合能力好：低偏差，高方差
简单函数：target小，拟合能力弱：高偏差，低方差
所以，从模型的复杂度分析，发现bias大，就增大模型的复杂度，如果variance大，就降低模型的复杂度
4、What to do with large bias？
Add more features as input
A more complex model
5、What to do with large variance？
More data（Very effective, but not always practical）
Regularization=>May increase bias
6、为什么正则化可以降低variance，却可能增加bias？
因为把曲线变平滑了，也就是对输入数据不敏感了，
也可以理解为变平滑之后，target变小了
也可以理解为变平滑之后，向低维函数靠近了
二、内容在总结中
博客对应课程的视频位置：