Ridge、Lasso、ElasticNet 回归

目录

• 1. 线性回归
• 2. Ridge 回归
• 3. Lasso 回归
• 4. 坐标轴下降法求解 Lasso 回归
• 5. 最小角回归法求解 Lasso 回归
• 6. ElasticNet 回归
• 7. 总结

线性回归中，提到线性回归的 \(L2\) 正则化（\(Ridge\) 回归），以及线性回归的 \(L1\) 正则化（\(Lasso\) 回归）.

1. 线性回归

线性回归的矩阵形式：

\[\pmb{h_\theta X = X \theta} \]

极小化损失函数：

\[\pmb{L(\theta)} = \frac{1}{2n} \pmb{(X \theta - Y)^T (X \theta -Y)} \]

用梯度下降法求解，每一轮 \(\theta\) 的表达式：

\[\theta = \theta - \alpha \pmb{X}^T (\pmb{X} \theta - \pmb{Y}) \]

其中，\(n\) 为样本个数，\(\alpha\) 为步长。

用最小二乘法，\(\theta\) 的表达式：

\[\theta = \pmb{(X^TX)^{-1} X^TY} \]

2. Ridge 回归

损失函数加入 \(L2\) 正则化项和权重系数 \(\pmb{\alpha}\) 的就是 \(Ridge\) 回归，也称岭回归、脊回归。

损失函数的表达式：

\[\pmb{L(\theta)} = \frac{1}{2n} \pmb{(X \theta - Y)^T (X \theta - Y)} + \frac{1}{2} \pmb{\alpha ||\theta||_{2}^{2}} \]

其中，\(n\) 为样本个数，\(\pmb{\alpha}\) 为常数系数，\(\pmb{||\theta||_2}\) 为 \(L2\) 范数。

\(Ridge\) 回归用梯度下降法求解，每一轮 \(\theta\) 的表达式：

\[\theta = \theta - \beta(\pmb{X^T}(\pmb{X}\theta - \pmb{Y}) + \pmb{\alpha} \theta) \]

其中，\(\beta\) 为步长。

用最小二乘法，\(\theta\) 的表达式：

\[\theta = \pmb{(X^TX + \alpha E)^{-1} X^TY} \]

其中，\(E\) 为单位矩阵。

\(Ridge\) 回归选择所有变量的情况下，缩小了回归系数，使得模型相对比较稳定，但模型的变量过多，解释性差。

\(Lasso\) 回归克服 \(Ridge\) 回归变量过多的缺点。

3. Lasso 回归

损失函数加入 \(L1\) 正则化和权重系数 \(\pmb{\alpha}\) 就是 \(Lasso\) 回归。

损失函数表达式：

\[\pmb{L(\theta)} = \frac{1}{2n} \pmb{(X \theta - Y)^T (X \theta - Y)} + \pmb{\alpha ||\theta||_1} \]

其中，\(n\) 为样本个数，\(\pmb{\alpha}\) 为常数系数，\(\pmb{||\theta||_1}\) 为 \(L1\) 范数。

\(Lasso\) 回归使一些系数变小，甚至还使一些绝对值较小的系数直接变为 \(0\)，因此特别适用于参数个数缩减与参数的选择，因而用来估计稀疏参数的线性模型，

\(Lasso\) 回归的损失函数不是连续可导的，由于 \(L1\) 范数用的是绝对值之和，导致损失函数有不可导点。也就是说，用来求损失函数极小值的方法，最小二乘法、梯度下降法、拟牛顿法、牛顿法，对它都是失效的。

所以 \(Lasso\) 回归的损失函数求极值方法：坐标轴下降法（\(coordinate\ descent\)）、最小角回归法（\(Least\ Angle\ Regression,\ LARS\)）。

4. 坐标轴下降法求解 Lasso 回归

5. 最小角回归法求解 Lasso 回归

6. ElasticNet 回归

损失函数加入 \(L1、L2\) 正则化和权重系数 \(\lambda、\rho\) 就是弹性网络回归算法（\(Elastic\ Net\ Regression\)）。

损失函数表达式：

\[L(\theta) = \sum_{i=1}^{n}(h_{\theta}(x_{0}^{(i)},x_{1}^{(i)},...,x_{m}^{(n)})- y_i)^2 + \lambda \rho ||\theta||_1 + \frac{\lambda (1-\rho)}{2} ||\theta||_2^2 \]

其中，\(n\) 表示样本个数，\(m\) 表示维度。

当 \(\rho = 0\) 时，\(ElasticNet\) 回归等同于 \(Ridge\) 回归。

当 \(\rho=1\) 时，，\(ElasticNet\) 回归等同于 \(Lasso\) 回归，此时，\(ElasticNet\) 回归的损失函数不是连续可导的，可用坐标轴下降法、最小角回归法求解 \(\theta\)。

7. 总结

\(Lasso\) 回归是在 \(Ridge\) 回归的基础上发展起来的，如果模型的特征非常多，选择 \(Lasso\) 回归。

来自：刘建平