第二讲、回归
1.矩阵
numpy.linalg模块包含线性代数的函数,可计算逆矩阵、求特征值、解线性方程组以及求解行列式等。
行列式:np.linalg.det(A).
计算逆矩阵:np.linalg.inv(A).
2.回归
回归指的是一类预测变量为连续值的有监督学方式。
在回归模型中,需要预测的变量叫做因变量,用来解释因变量变化的变量叫做自变量。
①一元线性回归
2.多元线性回归
3.非线性
多项式回归∶使用原始特征的二次项、三次项。
线性回归解决非线性问题 问题︰维度灾难、过度拟合。
4.多重共线性
5.过度拟合问题
当模型的变量过多时,线性回归可能会出现过度拟合问题。
解决:正则化。减少线性回归的的过度拟合和多重共线性。
①岭回归
②LASSO
随着入增大,LASSO的特征系数逐个减小为0,可以做特征选择;而岭回归变量系数几乎同时趋近于0。
6.回归模型的评价指标