在分类的问题中，要预测的变量y经常是离散的，如需要预测是正确还是错误，这是一种最基本的二分类。当然，逻辑回归也可以进行多分类，有一种简单的方法是，将其中一类标记为正类，剩余类标记为负类，可以得到正类，再讲另外一个类标记为正类，重复进行既可得到多分类的结果。
LR的常规步骤：
1.寻找假设函数
2.构造损失函数
3.使损失函数最小，并求得回归参数
对于二分类，输出标记为
，而线性回归模型产生的预测值
是实值，于是我们要将
转换为0/1值。最理想的是单位阶跃函数，但是单位阶跃函数不连续不可微，于是，利用的是Sigmoid函数来代替单位阶跃函数：
对于线性边界而言，边界形式如下：
构造预测函数为：
其中
有自己的含义，代表的是结果取1时的概率，并且：
接下来，需要构造损失函数：
介绍一下推理过程：
（1）式子可以表示为：
取似然函数：
再取对数：
可以使用梯度下降法进行求解，取：
θ的更新过程为：
θ更新过程可以写成：
为了避免过拟合问题，可以引入正则化。
关于随机梯度下降算法：
https://wenku.baidu.com/view/71203201bed5b9f3f90f1c3e.html
http://www.cnblogs.com/ooon/p/4947688.html