回归
作者：樱花猪
摘要：
本文为七月算法（julyedu.com）12月机器学习第五次课在线笔记。回归是我们很早就接触过又非常直接且好用的的方法，在我们终于翻越了前面四节课疯狂的数学知识的大山后终于可以窥见机器学习的真面目了。从回归开始，我们终于真正的进入了机器学习大门。课程从常见的线性回归开始讲到非常热门的Logistic回归，课程整体浅显易懂并附有大量的实际代码。
引言：
本次课程从我们在高中都学到的线性回归入手，分享了一些线性归回的基本方法，并牵引到了目前非常热门的Logistic回归。本次课程对最小二乘法的独到见解非常值得细细品味。文章也按照课程顺序从线性回归再到Logistic回归，笔记只求解决算法的原理和意义的问题而不过多的追究证明过程。
预备知识：
概率论；矩阵论；凸优化；
线性回归，Logistic回归。
一、线性回归
1、高斯的对数似然与最小二乘法
利用高斯分布来推出最小二乘法的目标函数。
线性回归的目标函数为：
其中，X,Y都已知，需要求解参数
，要使总误差最小。
求最值--->求梯度-->求驻点
参数的解析式
为了防止不可逆和过拟合，加入扰动：
注：与《矩阵论》的最小二乘法略有不同，引入矩阵广义逆。
这里
是一个向量，因此可以做高维的矩阵多项式拟合。
2、梯度下降算法
最小二乘法虽然公式看起来比较简单，但是算矩阵的匿比较费时间因此在大数据中二乘法不太常用，可以采用梯度下降方法。
具体方法：
a. 初始化
（随机初始化）
b. 迭代，新的
能够使得更小
c. 如果
能够继续减少，返回b
；其中，
传统方法：来一个样本点更新一次参数
批量梯度下降法：将所有样本的梯度算出来一起更新参数。
折中mini-batch：结合两种方案，批量样本点更新一次参数。
随机梯度下降法SGD：随机选个样本来更新参数。
如何确定学习率？第六讲
3、局部加权线性回归
只对x的附近的一些样本进行选择，根据这些附近的样本来推导。
二、Logistics回归
1、Logistic/sigmoid函数
2、Logistics回归参数学习规则
logistics回归是用来做分类，一般用来二分类。logistics回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数
作为假设函数来预测。
三类以上需要采用softmax回归模型。
。