为了降低过拟合风险,需要控制模型复杂度,自然想到减少参数个数,但是这个问题不易直接解决,可以通过放宽条件控制。
- L1正则化(嵌入式特征选择)——又称参数稀疏性惩罚——lasso reg
添加优化条件:
这会使参数条件空间有明显的凸角,这些突出点显然会成为联合优化时的最优解,但同时这些这些凸点中又会有较多的0值(由其限制条件可见,凸点都在坐标轴上),因此L1范数会更易得到稀疏解,有一定的特征选择作用。得到全局最优的可能更大。
约小,即C越大,更易获得最优值,但同时存在过拟合风险。越大,即C越小,此时正则化作用很强,但也容易造成欠拟合风险。(相当于添加拉普拉斯先验)
- L2正则化——又称权重衰减——ridge reg岭回归
添加优化条件:(注意这里用的是平方和,即L2范数的平方)
L2范数条件会使参数条件空间更平滑,联合优化的最优解常出现在象限中。但是其最优解往往是局部最优。(相当于添加高斯先验)