我们可以运用正则化的线性回归和logistic回归。我们先尝试线性回归。
梯度下降
我们将会把θ0修改梯度下降函数从其余的参数分离出来，因为我们不想惩罚θ0。
执行我们的正则化。通过一些操作，我们的更新规则也可以表示为：
在第一项、1−αλM永远小于1。直觉上你可以看到它在降低θJ值一定都更新。请注意，第二个术语现在与以前完全相同。
正规方程
现在我们用非迭代正规方程的交替方法来逼近正则化。
加上正则化，这个方程和我们原来的一样，只是在圆括号里加了一个词：
l是一个矩阵，左上角有0，对角线下是1，其余的0。它应该有尺寸（n + 1）×（n + 1）。直观地说，这是单位矩阵（尽管我们并不包括x0），与一个单一的实数λ乘以。
记得，如果m＜n，然后XTX是不可逆的。然而，当我们添加项λ⋅L，然后XTX+λ⋅L成为可逆。