参考地址:
https://www.zhihu.com/question/65350200
https://github.com/GreedyAIAcademy/Machine-Learning
https://zhuanlan.zhihu.com/p/70587472
线性回归
方程
损失函数
求导
令导数为0,得到
逻辑回归
逻辑回归函数
函数的图像:
逻辑回归函数如何解决二元分类过程?
当P(y=1|x)的值>0.5时输出1,否则输出0
逻辑回归的损失函数
梯度值:
梯度下降法
为什么?(逻辑回归的损失函数)
似然函数
假设分段函数f(x)结果只两个值0,1,为1的概率为p,为0的概率就是1-p,规范一些,可以描述如下:
我们把训练数据(X,y)代入公式,让矩阵中所有的p(1-p)相乘。
为什么要相乘?有人说是因为要用一个函数将y=0和y=1的形式统一起来,其实不准确,应该是为了“最大似然估计”。
参考:https://www.zhihu.com/question/65350200
推导损失函数
通过最大似然估计,推导出损失函数
推导出梯度值
第一步,还是通过最大似然函数求损失函数
第二部,对损失函数针对权值w求偏导数
获得的结果即梯度下降法中的梯度值。