原文地址:https://www.jianshu.com/p/a110a4e96d58
线性分类中的是非题变为逻辑分类中的概率题。在逻辑回归中,设置概率阈值后,大于等于该值的为O,小于改值的为X。
O为1,X为0:
逻辑函数/S型函数:光滑,单调。自变量趋于负无穷时,因变量趋于0;自变量趋于正无穷时,因变量趋于1;自变量取0时,因变量值为0.5。其能够较好地模拟概率特性。
逻辑回归使用交叉熵代价函数:
最小化代价函数时,发现无法求出使其值最小的解析解。类比PLA的迭代法,使用梯度下降法求最小值。
(eta):学习速率,与梯度大小有关,正比。
(v):方向,单位长度,方向与梯度相反。