逻辑回归与梯度下降法

广义线性模型：因变量不服从正态分布时，但所服从的的分布属于指数族分布，这样的模型成为广义线性模型。

• 逻辑回归公式推导：

定义：　　　　

　　　　　　　　

联结函数: 　　   

　　　　　　　　 

则，

　　　　　　　 　

　　　　　　　　 

 　　　　　　　　

记，　　　　　　   

　　　　　　　 　

则有，　　　　

　　　　　　　　 

　　　　　　　　 

　　　　　　　　

•  损失函数的推导：

(利用极大似然估计)

似然函数：

　　　　　　　　

　　　　　　　　 

两边取对数(单调性不变)：

　　　　　　　　

损失函数：

　　　　　　　　

• 梯度下降法更新参数：

梯度方向时函数值增加最快的方向

 

 

迭代更新参数：

　　 

•  预测

通过不断更新，得到最终迭代后的参数.

预测函数为:

若，则 i 为正类，否则为负类。