在机器学习中，常看到线性回归有 最小二乘法 和 梯度下降法。
线性回归——最小二乘法 参见之前的博客：线性回归——最小二乘法小结
线性回归——梯度下降法 参见之前的两个博客：
1) 机器学习简介，单变量线性回归——梯度下降法
2) 多变量线性回归——梯度下降法
那么梯度下降法 和 最小二乘法的区别呢，其实二者主要在求解找到最优解时存在一些区别。
二者区别：
1 最小二乘法：
1) 一次计算即可得到最优解(全局最优解)，但极小值为全局最小值；
2) 当特征数量 大于10000时，因计算矩阵逆的时间复杂度( )会很大；
3) 只适用于线性模型，不适用于逻辑回归等其他模型。
2 梯度下降法：
1) 需要选择学习率 ，需要多次迭代找到最优解(局部最优解)，极小值为局部最小值；
2) 当特征数量 大于10000时，也可以进行计算；
3) 适用于各种类型的模型。
总的来说，在机器学习中，最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。梯度下降法只要保证目标函数存在一阶连续偏导，就可以使用。
————————————————
版权声明：本文为CSDN博主「TechArtisan6」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/zaishuiyifangxym/article/details/93787233