分类和逻辑回归
接下来讨论分类问题，类似于回归问题，只不过y的值只有少数离散的值。现在我们考虑二分类问题，此时y只有0和1两个值。
逻辑回归
构造假设函数$h_{ heta}(x)$:
$h_{ heta}(x)=g( heta^{(x)})=frac{1}{1+e^{- heta^{T}x}}$
其中
$g(z)=frac{1}{1+e^{-z}}$
$g^{'}(z)=g(z)(1-g(z))$
$g(z)$函数图像如下：
$g^{'}(z)$函数图像如下：
假设：
$P(y=1mid x; heta) = h_{ heta}(x)$
$P(y=0mid x; heta) = 1- h_{ heta}(x)$
等价于：
$P(y mid x; heta) = (h_{ heta}(x))^{y}(1- h_{ heta}(x))^{1-y}$
y取0或1
假设有m个训练样本，可以写出参数的概率公式：
$L( heta) = p(vec{y} mid X; heta)$
$L( heta) = prod_{i=1}^{m}p(y^{(i)}mid x^{(i)}; heta)$
$L( heta) = prod_{i=1}^{m} (h_{ heta}(x^{(i)}))^{y^{(i)}}(1- h_{ heta}(x^{(i)}))^{1-y^{(i)}} $
为了便于求解，先取对数：
$iota( heta) = logL( heta)$
$iota( heta) = sum_{i=1}^{m}y^{(i)}logh(x^{(i)}) + (1-y^{i()})log(1-h(x^{(i)}))$
单一训练样本下，求解梯度：
$frac{partial }{partial heta_{j}}iota( heta) = (-h_{ heta}^{x})x_{j}$
因此，随机梯度下降法有：
$ heta_{j} := heta_{j} + alpha (y^{(i)} - h_{ heta}(x^{(i)}))x_{j}^{(i)}$
上式跟LMS更新规则很像，当学了GLM模型后便知原因。