学习地址
回归
用一个或多个自变量来预测因变量的数学方法
在机器学习中,回归指的是一类预测变量为连续值的有监督学习方法
在回归模型中,需要预测的变量叫做因变量,用来解释因变量变化的变量叫做自变量。
一元线性回归
多元线性回归
可能遇到的问题
多重共线性
最小二乘的参数估计为 $ widehat{w}=(XTX){-1}X^Ty$ ,如果变量之间存在较强的共线性,则(X^{T}X)近似奇异,对参数的估计变得不准确,造成过度拟合现象。
解决方法︰正则化、主成分回归、偏最小二乘回归
过度拟合问题
当模型的变量过多时,线性回归可能会出现过度拟合问题
解决方法
正则化
值得注意的是,当 (q=2) 时,为岭回归,当 $ q=1 $时,为 (LASSO)
岭回归
当不断增大正则化参数入,估计参数(hat{w}^{ridge}(lambda))(也称岭回归系数)在坐标系上的变化曲线称为岭迹。岭迹波动很大,说明该变量有共线性。
LASSO
- LASSO是一种系数压缩估计方法,它的基本思想是通过追求稀疏性自动选择重要的变量
- LASSO的目标函数∶((Xw - y)^{T}(Xw - y)+{lambda}{parallel}w{parallel}_1)
- LASSO 的解 (hat{w}^{LASSO}) 没有解析表达式,常用的求解算法包括坐标下降法、LARS算法和ISTA算法等
回归模型评价指标
其中 (y_i) 为真实值,(ar{x}) 为真实值的平均值,(hat{y}_i) 为模型估计值