在使用LR时,经常用Sigmod函数来表示一个概率,为什么LR可以使用Sigmod函数呢?
首先,LR的假设只有一个,就是两个类别的特征服从均值不等、方差相等的高斯分布。为什么假设它服从高斯分布?一方面,高斯分布容易理解;另一方面,从信息论的角度看,当均值和方差已知时,高斯分布是熵最大的分布。当熵分布最大时,可以平摊风险。就如二分查找法,每次都将中间作为查找点,目的就是为了平摊风险。
自定义“风险”:
式中,表示样本预测为0的风险,表示样本预测为1的风险,表示预测为,实际为所带来的风险。
在LR算法中,它认为,预测正确不会带来风险,即和都为0,另外,认为标签为0,而预测为1和认为标签为1,而预测为0,两者所带来的风险是一样的,所以和统一用来表示。
上面的“风险”化简为:
对于某一个样本,应该根据风险最小化来预测其类别,即比较两个条件概率,并把样本分配到概率最大的那个类中。
如:
将上式取对数,再利用朴素贝叶斯公式展开,得到:
由于和是常数,可以用常数代替,套入高斯公式,
两边取指数,得到:
综上,LR算法可以使用Sigmod函数来进行计算分析。