逻辑回归Logistic Regression
模型
[P(Y=1|x)=frac{1}{1+e^{-(wcdot{x}+b)}}
]
参数估计
使用极大似然估计
[egin{equation}
egin{aligned}
L(w) &= Pi_{i=1}^Nsigma(z)^{y_i}(1-sigma(z))^{1-y_i} \
&Rightarrow^{取对数} Sigma^{N}_{i=1} y_ilogsigma(z)+(1-y_i)log(1-sigma(z)) \
&=Sigma_{i=1}^Ny_ilogfrac{sigma(z)}{1-sigma(z)}+log(1-sigma(z)) \
&= Sigma_{i=1}^Ny_iz+log(1-sigma(z)) \
&其中,z=wcdot x,w=(x^{(1)},x^{(2)},...,x^{(k)},b)
end{aligned}
end{equation}]
对(L(w))求极大值,得到(w)的估计值。
问题
- 逻辑回归是分类模型,为什么叫逻辑“回归”?
某事件的几率指该事件发生的概率与不发生的概率之间的比值,则该事件的对数几率logit表示为(logit(p)=logfrac{p}{1-p})。针对逻辑回归而言,(logit(p) = wcdot{x}+b),所以输出(Y=1)的对数几率是由输入(x)的线性函数表示的模型,即逻辑回归模型。另一方面,逻辑回归模型将对数几率转换为概率。【感知机是使用阈值作为分类间隔;逻辑回归是转换为概率】 - 逻辑回归与线性回归的区别与联系?
区别:在逻辑回归中,(y)因变量为离散值;在线性回归中,(y)为连续值。即,逻辑回归为分类模型,而线性回归为回归模型。
联系:- 两者同属于广义线性模型。逻辑回归的假设条件为(P(y|x; heta) sim Bernoulli(phi));线性回归在使用最小二乘法求解时,假设条件为(P(y|x; heta) sim N(mu,sigma^2));
- 两者都可以使用梯度下降法求解最佳参数。
广义线性模型(Generalized Linear Models)
成立条件
- (p(y|x; heta) sim 指数族分布)
- (h_ heta(x) = E[y|x; heta])
- 参数(eta)与输入(x)是线性相关的
指数族分布
(p(y;eta) = b(y)exp(eta^TT(y)-a(eta)),其中eta是自然参数,T(y)是充分统计量)
- 逻辑回归为什么使用交叉熵而不是用平方误差作为损失函数(MSE)?
(frac{partialsigma(x)}{partial x} = sigma(x)(1-sigma(x)),当x=0时,取最大值0.25。) 当使用平方误差作为损失函数时,求得的梯度值会很小(梯度含有(frac{partialsigma(x)}{partial x})),误差反向传播不易快速收敛;使用交叉熵作为损失函数时,梯度不含(frac{partialsigma(x)}{partial x}),可以快速求的最优值。 - 逻辑回归为什么使用Sigmoid函数?
由于最大熵原理的性质,指数族分布是给定某些统计量下熵最大的分布。例如,伯努利分布就是只有两个取值且给定期望为(phi)的最大熵分布。所以根据广义线性模型的定义,逻辑回归模型
[egin{equation}
egin{aligned}
h_{ heta}(x) &= E[y|x; heta] \
&=phi \
&=frac{1}{1+e^{-eta}} \
& = frac{1}{1+e^{-w cdot x}}
end{aligned}
end{equation}
]
最大熵原理:学习概率模型时,在所有可能的概率模型分布中,熵最大的模型是最好的模型。通俗来讲,最大熵模型在满足已有事实的情况下(约束条件)下,在没有更多信息的情况下,认为不确定的部分是等可能的。
- 为什么逻辑回归的目标函数是凸函数?
如果证明某单变量函数(f(x))为凸函数,只需证明(frac{partial^2{f(x)}}{partial(x)partial(x)} geq 0)。所以对于逻辑回归的目标函数,其自变量为向量形式,则需要证明所有二阶偏导数组成的矩阵Hessian黑塞矩阵为半正定矩阵即可。
凸函数定义 (f(frac{x_1+x_2}{2}) leq frac{f(x_1)+f(x_2)}{2},即求得的局部最优极为全局最优。)